Hadoop安裝MySQL、Hive以及Sqoop(步驟圖文超詳細版)

還沒有搭建Hadoop，歡迎看看我前面的一篇文章：Hadoop集群搭建(步驟圖文超詳細版)

一、前置條件

二、安裝Mysql

安裝從網上下載檔案的wget命令，命令↓

yum -y install wget

下載mysql的repo源，命令↓

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 

安裝mysql-community-release-el7-5.noarch.rpm包，命令↓

rpm -ivh mysql-community-release-el7-5.noarch.rpm

查看下獲得兩個mysql的yum repo源，命令↓

ls -1 /etc/yum.repos.d/mysql-community*

安裝mysql，命令↓

yum install mysql-server

程序中的詢問都輸入 y

開啟Mysql服務，命令↓

service mysqld start

查看Mysql目前的狀態，命令↓

service mysqld status

Active中顯示running則表示正在運行中！

netstat –nptl (查看3306埠是否開啟)

登錄Mysql(密碼為空，回車)，命令↓

mysql -u root -p

查看Mysql版本，命令列輸入↓
注意！mysql命令列中以分號；作為結束，千萬不要漏了！！

select version()；

為了后續操作，我們需要為MySQL資料庫設定一個秘密，還是先進入MySQL，命令↓

mysql -u root -p
SET PASSWORD = PASSWORD('123456');

我們為MySQL設定允許遠程登錄權限，在MySQL命令列輸入↓

//設定允許遠程登錄
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
//是更新的權限表加載到記憶體
flush privileges;

到此，Mysql安裝完成啦！

三、安裝Hive

為了統一管理，將下載的Hive壓縮包放在 /software 目錄下

cd 到 /software 目錄下，將hive壓縮包進行解壓，命令↓

tar -xzvf apache-hive-1.2.1-bin.tar.gz

解壓后我們在 MobaXterm 左邊的/software目錄下找到 apache-hive-1.2.1-bin 這個檔案夾，將它改名為 hive，方便后續操作

接著我們修改全域組態檔，命令↓

vi /etc/profile

進入以下界面，按鍵盤上的 i 進入插入模式, 在末尾加入Hive檔案的路徑，命令↓

export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin

輸入完后，按鍵盤上的 esc，再輸入 :wq 保存退出！

退出后我們重繪一下全域組態檔，讓系統重新尋找路徑，命令↓

source /etc/profile

接下來我們修改Hive的組態檔將Hive默認的元資料庫存盤介質由自帶的Derby資料庫替換為MySQL資料庫！

進入hive檔案，來到 /conf 目錄下以 .template 后綴結尾的模板檔案將其后綴洗掉，若用Xshell或者MobaXterm軟體的直接在左邊目錄進行Rename就行，如果沒用的也可以通過以下指令進行改名，命令↓

cp hive-env.sh.template hive-env.sh
cp beeline-log4j.properties.template beeline-log4j.properties
cp hive-default.xml.template hive-default.xml
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
cp hive-log4j.properties.template hive-log4j.properties

更改后↓

然后修改 hive-env.sh 組態檔，添加Hadoop環境變數,hive的conf組態檔還有hive的lib檔案路徑,命令↓

export HADOOP_HOME=/software/hadoop
export HIVE_CONF_DIR=/software/hive/conf
export HIVE_AUX_JARS_PATH=/software/hive/lib

保存退出，接著我們還要在 /conf 檔案夾下創建一個 hive-site.xml 組態檔，用來配置MySQL相關資訊，可以在目錄下右鍵創建檔案，也可以使用命令↓

vi hive-site.xml

在 hive-site.xml 組態檔中添加以下內容↓

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>    
    </property>   
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description>     
    </property>               
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>
    <property>  
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>password to use against metastore database</description>  
    </property>          
</configuration>

保存退出

我們由于使用了MySQL資料庫，所以就會用到MySQL的JDBC連接驅動包，我們把從最上面鏈接中下載的JDBC的jar包放到hive的lib目錄下↓

啟動 hive，命令↓

hive

若組態檔有錯，這里將會提示錯誤！！

驗證hive是否使用了MySQL資料庫，進入MySQL，命令↓

mysql -u root -p
show databases;

到此，Hive就配置成功啦！

四、安裝Sqoop

為了統一管理，將下載的Sqoop壓縮包放在 /software 目錄下

cd 到 /software 目錄下，將hive壓縮包進行解壓，命令↓

tar -xzvf apache-hive-1.2.1-bin.tar.gz

解壓后我們在 MobaXterm 左邊的/software目錄下找到 sqoop-1.4.6.bin_hadoop-2.0 這個檔案夾，將它改名為 sqoop，方便后續操作

接著我們修改全域組態檔，命令↓

vi /etc/profile

進入以下界面，按鍵盤上的 i 進入插入模式, 在末尾加入Hive檔案的路徑，命令↓

export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin

輸入完后，按鍵盤上的 esc，再輸入 :wq 保存退出！

退出后我們重繪一下全域組態檔，讓系統重新尋找路徑，命令↓

source /etc/profile

我們來到 /software/sqoop/conf 目錄下，將sqoop-env-template.sh檔案中的 -template 給洗掉

更改后↓

然后修改 sqoop-env.sh 組態檔，添加Hadoop環境變數和hive檔案的路徑,命令↓

export HADOOP_COMMON_HOME=/software/hadoop
export HADOOP_MAPRED_HOME=/software/hadoop
export HIVE_HOME=/software/hive

保存退出，接著我們同樣為sqoop添加MySQL的JDBC連接驅動包，來到 /software/sqoop/lib 目錄下，添加驅動檔案↓

測驗sqoop，我們用sqoop list-databases命令輸出一下本地MySQL資料庫中的所有資料庫，命令↓

sqoop list-databases --username root --password '123456' --connect jdbc:mysql://localhost:3306/

能看到資料庫中的資料庫名就說明Sqoop配置完畢啦！
上述的 Warning 是因為那些軟體我們沒安裝而已，

本次分享到此結束！謝謝大家閱讀！！