本文主要介紹如何在Linux上安裝部署Hive，以及存盤Hive Metastore的依賴庫MySQL的安裝，關注專欄《破繭成蝶——大資料篇》，查看更多相關的內容~
目錄
一、安裝Hive
1.1 下載安裝包
1.2 Hive的安裝部署
1.2.1 上傳解壓
1.2.2 修改組態檔
1.2.3 Hadoop集群配置
1.2.4 將Hive添加到環境變數
1.3 測驗
二、Hive實體測驗
2.1 啟動Hive
2.2 創建表
2.3 加載本地資料
三、安裝MySQL
四、將Hive Metastore配置到MySQL
4.1 拷貝驅動
4.2 修改組態檔
4.3 測驗
一、安裝Hive
1.1 下載安裝包
首先我們需要去下載安裝包，請點擊這里下載對應的安裝包，這里我們選擇的是1.2.1版本的安裝包，
1.2 Hive的安裝部署
1.2.1 上傳解壓
1、將下載的安裝包上傳到master節點
2、解壓到/opt/modules/目錄下
tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C ../modules/
3、重命名
為了方便后續操作，我們這里對該目錄重新命名一下，
1.2.2 修改組態檔
1、復制hive-env.sh.template檔案
在Hive的conf目錄下，復制一份hive-env.sh.template組態檔，如下：
cp hive-env.sh.template hive-env.sh
2、修改hive-env.sh檔案
在hive-env.sh檔案下配置Hadoop的路徑已經Hive conf目錄的路徑，
HADOOP_HOME=/opt/modules/hadoop-2.7.2
export HIVE_CONF_DIR=/opt/modules/hive/conf
1.2.3 Hadoop集群配置
1、啟動HDFS和Yarn，這里需要注意的是：Yarn的啟動需要到安裝ResourceManager的機器上啟動，我們這里安裝在了slave01上面，
start-dfs.sh
start-yarn.sh
2、在HDFS上創建/tmp和/user/hive/warehouse兩個目錄并修改他們的權限，
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir /tmp
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod g+w /user/hive/warehouse
1.2.4 將Hive添加到環境變數
vim /etc/profile
##HIVE_HOME
export HIVE_HOME=/opt/modules/hive
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile1.3 測驗
輸入hive進入命令列模式，可以進行簡單的操作測驗，陳述句跟SQL沒什么差別，
二、Hive實體測驗
Hive安裝完之后，我們來弄一個小例子簡單的測驗一下，
2.1 啟動Hive
啟動Hive，并新建一個資料庫（xzw），
hive
create database xzw;
2.2 創建表
這里我們創建一個people表，用來存放個人資訊，people表有三個欄位：id、姓名、性別，資料之間使用英文的逗號進行分割，
create table people(id int, name string, sex string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
2.3 加載本地資料
1、首先需要在本地構造一部分資料，這里需要注意的是在建表的時候我們指定英文逗號為分隔符，在導資料的時候它會自動識別英文逗號作為欄位的分割標志，
2、加載本地資料到Hive，
load data local inpath '/root/files/p.txt' into table people;
三、安裝MySQL
一次不經意之間，我在另外一個視窗進入了Hive的命令列界面，然后就發生了下面的問題：
這是因為Metastore默認存盤在自帶的derby資料庫中，推薦使用MySQL存盤Metastore，故有了MySQL的安裝，具體安裝程序可以參考《CDH6.3.1部署大資料集群》中（五、安裝MySQL）的部分，這里就不再贅述了，
四、將Hive Metastore配置到MySQL
4.1 拷貝驅動
將資料庫驅動拷貝的指定目錄，如下圖所示：
4.2 修改組態檔
1、新建hive-site.xml檔案
touch hive-site.xml2、在hive-site.xml中添加如下內容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>p@ssw0rd</value>
<description>password to use against metastore database</description>
</property>
</configuration>4.3 測驗
啟動Hadoop集群，在master節點上打開多個視窗，在其中一個里面創建資料庫，另外的視窗也能發現剛剛創建的資料庫，證明配置成功，
這就是這篇文章的全部內容，你們在此程序中遇到了什么問題，歡迎留言，讓我看看你們都遇到了哪些問題~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/233108.html
標籤：其他