歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類匯總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；
本篇概覽
本文是《CDH5部署三部曲》的第二篇，上一篇《CDH5部署三部曲之一：準備作業》將集群所有機器做了必要的設定，今天一起來完成CDH的部署、啟動、設定等操作；
系列文章鏈接
- 《CDH5部署三部曲之一：準備作業》
- 《CDH5部署三部曲之二：部署和設定》
- 《CDH5部署三部曲之三：問題總結》
master機器上的設定
SSH登錄master機器，執行以下操作：
- 安裝mariadb：
yum install mariadb-server
- 啟動mariadb服務，并設定為開機啟動：
systemctl start mariadb && systemctl enable mariadb
- 初始化資料庫配置：
mysql_secure_installation
- 按照控制臺提示進行設定，主要是設定root賬號的密碼，以及允許root賬號遠程登錄；
- 登錄mariadb：
mysql -u root -p123456
- 給root的遠程操作開放所有權限，并且重繪：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
- 創建parcel的本地倉庫的檔案夾，并且設定所有者和群組：
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
- 將前面下載好的三個檔案放入目錄/opt/cloudera/parcel-repo，這三個檔案是：CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel、manifest.json、CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
- 將/opt/cloudera/parcel-repo目錄下的CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1檔案改名為CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha（即：把后綴從sha1改成sha）
- 接下來初始化CM資料，登錄mariadb：
mysql -u root -p123456
- 給temp賬號賦予權限，并且重繪：
create user 'temp'@'%' identified by 'temp';
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush privileges;
- 退出mariadb互動；
- 進入目錄/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/：
cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
- 執行以下命令即可初始化CM的資料：
./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm
- 提示操作成功：
至此，master設定完畢，接下來設定worker1和worker2
worker1機器上的設定（worker2也這樣設定）
- 創建本地parcel快取檔案夾：
mkdir -p /opt/cloudera/parcels
- 給檔案夾賦權限：
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
worker1和worker2都做上述設定，接下來就可以啟動CDH了，
啟動server(master機器)
- SSH登錄master；
- 進入啟動命令所在目錄：
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
- 啟動server：
./cloudera-scm-server start
- 啟動成功的提示資訊如下：
啟動agent(worker1和worker2機器)
- SSH登錄worker1；
- 進入啟動命令所在目錄：
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
- 啟動agent：
./cloudera-scm-agent start
- 啟動成功的提示資訊如下：
- 然后登錄worker2，重復上述操作；
至此，CDH部署和啟動完成，可以開始設定了；
設定CDH
- 瀏覽器訪問地址：http://192.168.133.154:7180 ，會提示登錄，賬號和密碼都是admin：
- 接下來的頁面是許可條款，選擇接受后進入選擇版本的頁面，我這里選擇的是試用版，如下圖：
- 即將部署多個服務：
- 進入選擇機器的頁面，如下圖紅框所示，將worker1和worker2都勾選上：
- parcel設定，如下所示：
- 由于之前已經將parcel檔案下載到master機器上，因此下載安裝包的進度一開始就是百分之百，耐心等待后面的分配、解壓、激活等步驟自動完成：
- 集群安裝完成，如下圖，可以按照提示進行優化：
- 部署服務，這里我選擇了所有服務：
- 角色設定頁面，將沒有分配主機的服務分配到某一臺機器上，我這里都選擇了worker1：
- 資料庫的設定頁面，由于只在master安裝了mysql，所有我這里全部填寫的是master：
- 詳細的設定頁面，請按照實際情況設定：
- 開始啟動各個服務，等待完成：
- 所有服務正常后，狀態頁面如下圖所示：
至此，CDH5部署和啟動都已完成，但實際的啟動程序并非一帆風順，HDFS、Hive等服務都可能啟動失敗，下一篇文章會將這些問題以及解決方法都列出來；
歡迎關注公眾號：程式員欣宸
微信搜索「程式員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/172112.html
標籤：Java
上一篇：第 14 章 垃圾回收概述