前言
大資料平臺搭建 | Hadoop 集群搭建(一)
1、 簡介
- 基于Hive3.1.2版本
- Hive下載地址
- Hive的運行依賴與Hadoop3.X
- -依賴JDK 1.8環境
2、架構
- 本質就是存盤了
Hdfs檔案和表、資料庫之間的映射關系(元資料), 然后提供了以SQL的方式去訪問檔案資料, 就跟訪問表結構化資料一樣. 它通過翻譯SQL然后通過計算引擎去計算得到查詢結果
元資料MetaStore:就是Hdfs檔案和表、資料庫之間的映射關系資料. 默認存盤在自帶的 derby 資料庫中，一般配置存盤到 MySQL中Driver:- SQL 決議器: 將 SQL 字串轉換成抽象語法樹 AST, 然后對 AST 進行語法分析
- Physical Plan編譯器: 將 AST 編譯生成邏輯執行計劃，
- Query Optimizer查詢優化器: 對邏輯執行計劃進行優化.
- Execution執行器: 把邏輯執行計劃轉換成可以運行的物理計劃(比如MapReduce或者Spark)
客戶端:提供了各種個樣訪問Hive的方式, 比如 CLI（hive shell）、JDBC/ODBC(java訪問hive), beeline
3、服務器規劃
- 哪臺服務器想用hive的客戶端都可以部署, 可以選擇作為服務端也可以選擇作為客戶端.作為客戶端就是不啟動metastore服務(或者hiverServer2服務) 去連接其他服務器上的服務. 比如hadoop300啟動了metastore服務, 然后Hadoop301和Hadoop302只需要配置訪問的 metastore服務的地址即可訪問Hive了(
比如地址是thrift://hadoop300:9083)
| Hadoop300 | Hadoop301 | Hadoop302 | |
|---|---|---|---|
| hive | V |
4、Hive的訪問方式
- 所謂訪問Hive本質就是訪問在mysql上存盤的元資料
# 3種訪問方式流程
1 Hive客戶端 ----> myql(元資料)
2 Hive客戶端 ---> metastore服務----- > myql(元資料)
3 Hive客戶端 ----> hiveServer2服務-----> metastore服務----- > myql(元資料)
1、mysql直連方式
- 只需要配置了元資料所在mysq資訊Hive的客戶端就可以以直連方式訪問Hive的元資料
- 沒有配置metastore服務和hiveServer2服務默認采用直連方式. 不用啟動metastore服務和hiveServer2服務Hive的shell客戶端就可以直接訪問到Hive的元資料
- 這種方式適合本地訪問不用泄漏mysql資訊, 也不需要啟動額外的服務,
2、元資料服務metastore方式
- 是一種thrift服務, 需要手動啟動該服務然后連接到它才能訪問到Hive
- 通過在mysql(元資料)之上啟動一個metastore服務, 屏蔽mysql連接細節, 先連接Metastore服務，再通過Metastore服務連接MySQL獲取元資料
- 如果配置了該
hive.metastore.uris引數就是采用這種方式 - 主要負責對元資料的訪問，即表結構，庫資訊
3、hiveServer2服務的方式
- 是一種thrift服務, 需要手動啟動該服務然后連接到它才能訪問到Hive
- 通過在metastore服務之上又再啟動了一個服務
- 主要負責對Hive中具體表資料的訪問, 比如python和 java對hive資料的遠程訪問，beeline 客戶端也是通過HiveServer2方式訪問資料
5、安裝
下載解壓即可
[hadoop@hadoop300 app]$ pwd
/home/hadoop/app
drwxrwxr-x. 12 hadoop hadoop 166 2月 22 00:08 manager
lrwxrwxrwx 1 hadoop hadoop 47 2月 21 12:33 hadoop -> /home/hadoop/app/manager/hadoop_mg/hadoop-3.1.3
lrwxrwxrwx 1 hadoop hadoop 54 2月 22 00:04 hive -> /home/hadoop/app/manager/hive_mg/apache-hive-3.1.2-bin
添加hive環境變數
- 修改
vim ~/.bash_profile檔案
# ================== Hive ==============
export HIVE_HOME=/home/hadoop/app/hive
export PATH=$PATH:$HIVE_HOME/bin
hive配置
1、修改 ${HIVE_HOME}/conf/hive-site.xml 檔案
- 如果沒有這個檔案直接復制
${HIVE_HOME}/conf/hive-default.xml.template檔案創建即可 - 主要是配置Hive的元資料的存放模式和路徑,默認是delpy,現改成存盤到mysql中,所以需要配置連接mysql的相關屬性. 以及配置metastore和hiverServer2服務
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 1、metastore服務啟動地址(可配置多個,以逗號分隔)-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop300:9083</value>
</property>
<!-- 2、元資料存盤的mysql路徑, 將元資料存放到這個Hadoops_Hive資料庫中 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://www.burukeyou.com:3306/Hadoops_Hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 連接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc 連接的 password-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<!-- 3、設定hive在HDFS 的作業目錄,
默認資料倉庫是在/user/hive/warehouse路徑下 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/warehouse</value>
</property>
<!--4、 hiveServer2 啟動埠 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<!-- hiveServer2 啟動地址 -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop300</value>
</property>
<!-- 5、Hive 元資料存盤版本的驗證 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!-- 6、hive命令列 可以顯示select后的表頭 -->
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!-- 7、hive命令列 可以顯示當前資料庫資訊 -->
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
</configuration>
2、修改配置后,需要將mysql的驅動包匯入到${HIVE_HOME}的lib目錄下
[hadoop@hadoop300 ~]$ cp mysql-connector-java-5.1.46.jar /home/hadoop/app/hive/lib/
3、初始化元資料在資料庫的表資訊和資料
[hadoop@hadoop300 ~]$schematool -initSchema -dbType mysql
4、在Hadoops_Hive庫可看到生成的表檔案
6、Hive客戶端使用
6.1 hive CLI(互動式客戶端)
- 由于配置了metastore服務, 所以需要先啟動它. Hive客戶端才能通過metastore服務去訪問元資料. 如果沒配置metastore服務即
hive.metastore.uris引數就不用啟動
[hadoop@hadoop300 ~]$ hive --service metastore
- 執行
hive命令進入互動式命令列
[hadoop@hadoop300 conf]$ hive
hive (default)> show tables;
hive (default)> show tables;
OK
tab_name
student
user
6.2 beeline
- beeline是通過hiveServer2去訪問hive的,所以需要先啟動hiverServer2
[hadoop@hadoop300 shell]$hive --service hiveserver2
啟動后可以訪問到hiveserver2的WebUI介面在 http://hadoop300:10002 地址
啟動beeline客戶端并連接hiveServer2
beeline -u jdbc:hive2://hadoop300:10000 -n hadoop
[hadoop@hadoop300 shell]$ beeline -u jdbc:hive2://hadoop300:10000 -n hadoop
Connecting to jdbc:hive2://hadoop300:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
# 查看所有表
0: jdbc:hive2://hadoop300:10000> show tables;
INFO : Compiling command(queryId=hadoop_20210227161152_17b6a6dd-bcd2-4ab0-8bd4-be600ae07069): show tables
INFO : Concurrency mode is disabled, not creating a lock manager
INFO : Semantic Analysis Completed (retrial = false)
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:tab_name, type:string, comment:from deserializer)], properties:null)
INFO : Completed compiling command(queryId=hadoop_20210227161152_17b6a6dd-bcd2-4ab0-8bd4-be600ae07069); Time taken: 1.044 seconds
INFO : Concurrency mode is disabled, not creating a lock manager
INFO : Executing command(queryId=hadoop_20210227161152_17b6a6dd-bcd2-4ab0-8bd4-be600ae07069): show tables
INFO : Starting task [Stage-0:DDL] in serial mode
INFO : Completed executing command(queryId=hadoop_20210227161152_17b6a6dd-bcd2-4ab0-8bd4-be600ae07069); Time taken: 0.06 seconds
INFO : OK
INFO : Concurrency mode is disabled, not creating a lock manager
+-----------+
| tab_name |
+-----------+
| student |
| user |
+-----------+
3 rows selected (1.554 seconds)
測驗
1、 創建外部磁區教師表
create external table if not exists teacher (
`id` int,
`name` string,
`age` int COMMENT '年齡'
) COMMENT '教師表'
partitioned by (`date` string COMMENT '磁區日期')
row format delimited fields terminated by '\t'
stored as parquet
location '/warehouse/demo/teacher'
tblproperties ("parquet.compress"="SNAPPY");
2、插入資料
insert overwrite table teacher partition(`date`='2021-02-29')
select 3, "jayChou",49;
3、查看HDFS
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/264457.html
標籤：其他
上一篇：第十屆藍橋杯省賽題：把 2019 分解成 3 個各不相同的正整數之和，并且要求每個正整數都不包含數字 2 和 4，一共有多少種不同的分解方法？
下一篇：kafka學習梳理