Hive安裝
- 嵌入模式
- 所需安裝包
- 解壓安裝包
- 配置環境變數
- 修改組態檔 hive-env.sh
- 初始化元資料庫
- Hive連接
- 本地模式
- 安裝MySQL
- 所需安裝包
- 解壓安裝包
- 安裝MySQL組件
- 登錄MySQL
- 初始化MySQL的資料庫
- 啟動MySQL服務
- 登錄MySQL
- 重置MySQL密碼
- 增加遠程登陸權限
- Hive內嵌式安裝
- 配置環境變數
- 修改組態檔 hive-env.sh
- Hive元資料配置到MySQL
- 驅動拷貝
- 配置Metastore到MySQL
- 初始化元資料庫
- Hive連接
- 遠程模式
嵌入模式
- 元資料資訊被存盤在Hive自帶的Derby資料庫中
- 只允許創建一個連接
- 多用于Demo
所需安裝包
apache-hive-x.x.x-bin.tar.gz
清華大學開源軟體鏡像站Hive下載
解壓安裝包
tar -zxvf apache-hive-x.x.x-bin.tar.gz
配置環境變數
- 打開/etc/profile檔案
vi /etc/profile - 將以下內容添加到組態檔的底部
# 配置Hive的安裝目錄 export HIVE_HOME=/root/software/apache-hive-3.1.2-bin # 在原PATH的基礎上加入Hive的bin目錄 export PATH=$PATH:$HIVE_HOME/bin - 生效組態檔
source /etc/profile - 檢查Hive環境是否設定成功
hive --version
修改組態檔 hive-env.sh
- 切換到 ${HIVE_HOME}/conf 目錄下,將hive-env.sh.template檔案復制一份并重命名為hive-env.sh
cp hive-env.sh.template hive-env.sh - 編輯hive-env.sh
vi hive-env.sh - 在檔案中配置HADOOP_HOME、HIVE_CONF_DIR以及HIVE_AUX_JARS_PATH引數
# 配置Hadoop安裝路徑 HADOOP_HOME=/root/software/hadoop-3.3.0 # 配置Hive組態檔存放路徑 export HIVE_CONF_DIR=/root/software/apache-hive-3.1.2-bin/conf # 配置Hive運行資源庫路徑 export HIVE_AUX_JARS_PATH=/root/software/apache-hive-3.1.2-bin/conf
初始化元資料庫
schematool -dbType derby -initSchema
Hive連接
hive 或 hive --service cli
本地模式
- 元資料資訊被存盤在MySQL資料庫中
- MySQL資料庫與Hive運行在同一臺物理機器上
- 多用于開發和測驗
安裝MySQL
所需安裝包
apache-hive-x.x.x-bin.tar.gz
清華大學開源軟體鏡像站Hive下載
mysql-x.x.x-1.el7.x86_64.rpm-bundle.tar
清華大學開源軟體鏡像站MySQL下載
解壓安裝包
tar -zxvf apache-hive-x.x.x-bin.tar.gz
安裝MySQL組件
- 安裝mysql-community-common(服務器和客戶端庫的公共檔案)
rpm -ivh mysql-community-common-x.x.x-1.el7.x86_64.rpm - 安裝mysql-community-libs(MySQL資料庫客戶端應用程式的共享庫)
rpm -ivh mysql-community-libs-x.x.x-1.el7.x86_64.rpm - 安裝mysql-community-libs-compat(MySQL之前版本的共享兼容庫)
rpm -ivh mysql-community-libs-compat-x.x.x-1.el7.x86_64.rpm - 安裝mysql-community-client(MySQL客戶端應用程式和工具)
rpm -ivh mysql-community-client-x.x.x-1.el7.x86_64.rpm - 安裝mysql-community-server(資料庫服務器和相關工具)
rpm -ivh mysql-community-server-x.x.x-1.el7.x86_64.rpm
登錄MySQL
初始化MySQL的資料庫
/usr/sbin/mysqld --initialize-insecure --user=mysql
對于MySQL 5.7.6以后的5.7系列版本,MySQL也可以使用 mysqld --initialize 初始化資料庫,該命令會在
/var/log/mysqld.log檔案中生成一個登錄 MySQL 的隨機密碼,而 mysqld --initialize-insecure 命令不會生成隨機密碼,而是設定 MySQL 的密碼為空,
啟動MySQL服務
/usr/sbin/mysqld --user=mysql &
登錄MySQL
使用root用戶無密碼登錄MySQL:
mysql -u root
重置MySQL密碼
在 5.7 版本后,可以使用 alter user…identified by 命令把root用戶的密碼修改為“123456”
alter user 'root'@'localhost' identified by '123456';
修改完成使用 exit 或 quit 退出MySQL,驗證是否成功
mysql -u root -p 123456
增加遠程登陸權限
- 查看MySQL資料庫下的user表資訊
use mysql; #切換成MySQL資料庫 select user,host from user; #查詢用戶資訊 - 實作遠程連接(授權法)
將host欄位的值改為%就表示在任何客戶端機器上都能以root用戶登錄到MySQL服務器update user set host='%' where host='localhost'; #設定遠程登錄權限 flush privileges; #重繪授權
Hive內嵌式安裝
配置環境變數
- 打開/etc/profile檔案
vi /etc/profile - 將以下內容添加到組態檔的底部
# 配置Hive的安裝目錄 export HIVE_HOME=/root/software/apache-hive-3.1.2-bin # 在原PATH的基礎上加入Hive的bin目錄 export PATH=$PATH:$HIVE_HOME/bin - 生效組態檔
source /etc/profile - 檢查Hive環境是否設定成功
hive --version
修改組態檔 hive-env.sh
- 切換到 ${HIVE_HOME}/conf 目錄下,將hive-env.sh.template檔案復制一份并重命名為hive-env.sh
cp hive-env.sh.template hive-env.sh - 編輯hive-env.sh
vi hive-env.sh - 在檔案中配置HADOOP_HOME、HIVE_CONF_DIR以及HIVE_AUX_JARS_PATH引數
# 配置Hadoop安裝路徑 HADOOP_HOME=/root/software/hadoop-3.3.0 # 配置Hive組態檔存放路徑 export HIVE_CONF_DIR=/root/software/apache-hive-3.1.2-bin/conf # 配置Hive運行資源庫路徑 export HIVE_AUX_JARS_PATH=/root/software/apache-hive-3.1.2-bin/conf
Hive元資料配置到MySQL
驅動拷貝
- 驅動下載
驅動名稱:mysql-connector-java-x.x.xx.tar.gz
清華大學開源軟體鏡像站MySQL驅動下載 - 解壓
tar -zxvf mysql-connector-java-x.x.xx.tar.gz - 拷貝
將MySQL驅動包mysql-connector-java-x.x.xx-bin.jar 拷貝到 ${HIVE_HOME}/lib目錄下,cp mysql-connector-java-x.x.xx-bin.jar apache-hive-x.x.x-bin/lib/
配置Metastore到MySQL
在${HIVE_HOME}/conf目錄下創建一個名為hive-site.xml的檔案,并使用vi編輯器進行編輯:
touch hive-shell.xml
vi hive-site.xml
根據官方檔案配置引數官方檔案配置引數,拷貝資料到 hive-site.xml 檔案中:
<configuration>
<!--連接元資料庫的鏈接資訊 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<!--連接資料庫驅動 -->
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!--連接資料庫用戶名稱 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<!--連接資料庫用戶密碼 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>資料庫用戶密碼</value>
<description>password to use against metastore database</description>
</property>
</configuration>
初始化元資料庫
如果使用的是 2.x 版本的 Hive,那么就必須手動初始化元資料庫,使用以下命令進行初始化:
schematool -dbType mysql -initSchema
Hive連接
hive 或 hive --service cli
遠程模式
- 元資料資訊被存盤在MySQL資料庫中
- 元資料存盤在另一種作業系統上
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/262167.html
標籤:其他
上一篇:【Grasshopper基礎8】電池的序列化與反序列化 Serilization of Grasshopper Component
下一篇:Qt框架之情人節玫瑰花案例專案
