Hive資料倉庫——環境搭建及簡單使用

Hive的安裝和使用

我們Hadoop框架版本的約定

JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
HIVE_HOME=/usr/local/soft/hive-1.2.1

一、Linux的JDK的安裝 （已經安裝過JDK可以跳過此步驟）

??具體JDK安裝步驟請點擊下方靚仔原創博客鏈接：
??Hadoop環境搭建之克隆前的準備及Linux的JDK的安裝

二、離線安裝MySQL（已經安裝過MySQL可以跳過此步驟）

??具體MySQL安裝步驟請點擊下方靚仔原創博客鏈接：

??大資料之在Liunx中安裝MySQL

三、搭建Hadoop框架（分布式版本）

??具體Hadoop安裝步驟請點擊下方靚仔原創博客鏈接：
??Hadoop搭建（分布式版本）

四、搭建Zookeeper集群 （可省略）

??具體Zookeeper安裝步驟請點擊下方靚仔原創博客鏈接：
??Hadoop框架Zookeeper簡介、搭建及簡單使用

五、安裝Hive資料倉庫

前提是：mysql和hadoop必須已經成功啟動了
可以選擇將Zookeeper集群停掉不影響 zkServer.sh stop

1、驗證MySQL和Hadoop是否安裝成功

MySQL和Hadoop能正常相應就沒問題

2、在MySQL中創建hive元資料庫

警告！必須把編碼設定為latin1編碼，否則安裝會造成版本上的沖突

mysql -uroot -p123456
create database hive character set "latin1";
show databases;
exit

3、上傳Hive的安裝包和JDBC驅動包

4、解壓Hive的安裝包并修改目錄名稱

#解壓Hive的安裝包
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/

#切換到soft目錄
cd /usr/local/soft/

#修改目錄名稱
mv apache-hive-1.2.1-bin/ hive-1.2.1

• Hive的目錄結構如下

5、配置Hive環境變數

#復制當前路徑
pwd
/usr/local/soft/hive-1.2.1

#在檔案末尾新增
HIVE_HOME=/usr/local/soft/hive-1.2.1
$HIVE_HOME/bin:

#保存退出
:wq

#重繪環境變數
source /etc/profile

#輸入hi按TAB鍵可以補出hive命令就配置成功了
[root@master hive-1.2.1]# hi
history         hive            hive-config.sh  hiveserver2

6、進入hive-1.2.1/conf目錄，復制備份檔案并重命名

#進入hive-1.2.1/conf目錄
cd conf/

#復制備份檔案并重命名
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

7、配置hive的組態檔

??hive的組態檔比較大，在linux中查找某項配置比較難，可以先將hive-site.xml檔案復制到windows用文本編輯打開，然后ctrl+f查關鍵字修改，修改之后再放回到hive 的conf目錄，

7.1、修改hive-env.sh

#修改hive-env.sh
vim hive-env.sh

#再最后一行加入三行內容（大家根據自己的目錄和實際情況來添加）
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HIVE_HOME=/usr/local/soft/hive-1.2.1

7.2、修改hive-site.xml

通過/對要修改的地方進行查找修改

				<property>
					<name>javax.jdo.option.ConnectionURL</name>
					<value>jdbc:mysql://master:3306/hive?useSSL=false</value>
				</property>
				<property>
					<name>javax.jdo.option.ConnectionDriverName</name>
					<value>com.mysql.jdbc.Driver</value>
				</property>
				<property>
					<name>javax.jdo.option.ConnectionUserName</name>
					<value>root</value>
				</property>
				<property>
					<name>javax.jdo.option.ConnectionPassword</name>
					<value>123456</value>
				</property>
				<property>
					<name>hive.querylog.location</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>
				</property>
				<property>
					<name>hive.exec.local.scratchdir</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>
				</property>
				<property>
					<name>hive.downloaded.resources.dir</name>
					<value>/usr/local/soft/hive-1.2.1/tmp</value>
				</property>

7.3、拷貝mysql驅動到$HIVE_HOME/lib目錄下

#切換到hive-1.2.1目錄
cd /usr/local/soft/hive-1.2.1/

#拷貝mysql驅動到$HIVE_HOME/lib目錄下
cp /usr/local/moudle/mysql-connector-java-5.1.49.jar ./lib/

#打開lib目錄查看
cd lib/
ls

7.4、將hive的jline-2.12.jar拷貝到hadoop對應目錄下

#hive的 jline-2.12.jar 位置在
/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar

#hive的jline-2.12.jar拷貝到hadoop下
cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/

8、啟動Hive

#第一次啟動的時候比較慢
hive

#退出
exit;
quit;

9、修改mysql元資料庫hive，讓其hive支持utf-8編碼以支持中文

#登錄mysq
mysql -u root -p123456

#切換到hive資料庫
use hive;

#1、修改欄位注釋字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

#2、修改表注釋字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

#3、修改磁區表引數，以支持磁區鍵能夠用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

#4、修改索引注解(可選)，沒有建立索引執行這個命令會報錯
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

六、測驗hive

1、啟動hive

hive

2、在hive中創建test1資料庫

create database test1;

3、切換test1資料庫

use test1;

4、創建students表

create table students(
    id bigint comment '學生id',
    name string comment '學生姓名',
    age int comment '學生年齡',
    gender string comment '學生性別',
    clazz string comment '學生班級'
) comment '學生資訊表' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

5、創建score表

create table score(
    id bigint comment '學生id',
    score_id bigint  comment '科目id',
    score int comment '學生成績'
) comment '學生成績表'  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

6、查看students表資訊

desc students;

7、查看score表資訊

desc score;

8、利用可視化工具Navicat Premium 查看

• 在COLUMNS_V2中可以查看到我們的表

9、這個時候我們訪問HDFS的Web UI （master:50070）

這個時候只有表并沒有資料

10、上傳資料

1、在soft目錄下新建data目錄用來存放資料

#創建目錄
mkdir data
cd data/

2、安裝lrzsz 方便資料直接拖放到shell中

#安裝lrzsz 
yum install lrzsz

3、上傳student.txt資料到hdfs

hdfs dfs -put students.txt /user/hive/warehouse/test1.db/students/

4、上傳score.txt資料到hdfs

hdfs dfs -put score.txt /user/hive/warehouse/test1.db/score

5、查詢students表資料

#記住用select *  查詢資料的時候記得加上 limit  （資料太大）
select * from students limit 10;

6、查詢score表資料

#記住用select *  查詢資料的時候記得加上 limit  （資料太大）
select * from score limit 10;

至此，在Hadoop上搭建Hive倉庫就完成了

到底啦！關注靚仔欣賞靚仔更多的作品q(≧▽≦q)