超簡單的CDH6部署和體驗(單機版)

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

為什么會超簡單

借助ansible簡化了CDH6部署作業的大部分內容，也降低了手工操作失誤的概率，今天實戰的內容，是在一臺安裝了ansible的電腦上(蘋果或Linux作業系統)運行ansible腳本，遠程操作一臺CentOS服務器，在上面部署CDH6，并操作驗證本次部署是否成功，

ansible學習

如果您想了解ansible，請參考《ansible2.4安裝和體驗》

為什么要部署單機版CDH6

主要是用來做為大資料技術的學習和開發的環境，并不適合生產；

實戰簡述

本次實戰內容：部署、啟動、驗證，整個程序如下圖所示：

全文大綱

本文由以下章節組成：

1. 環境資訊；
2. 下載檔案；
3. 檔案擺放；
4. CDH機器設定；
5. ansible引數設定；
6. 部署；
7. 重啟CDH服務器
8. 啟動；
9. 設定；
10. 修復問題；
11. 體驗；

環境資訊

本次實戰的操作程序如下圖所示，安裝ansible2.9版本的MabBook Pro電腦作為ansible服務器，執行playbook腳本，對一臺CentOS服務器進行遠程操作，完成CDH6的部署和啟動：

上圖藍色背景的電腦，可以是蘋果作業系統，也可以是Linux作業系統，黃色背景的電腦要用來運行CDH6，必須是CentOS7.7作業系統(實在對不起，我這條件有限，別的系統沒有試過)

整個實戰涉及的環境版本資訊如下：

1. ansible服務器：macOS Catalina 10.15(實測用CentOS7.7也成功)
2. CDH服務器：CentOS Linux release 7.7.1908
3. cm版本：6.1.0
4. parcel版本：6.1.1
5. jdk版本：8u191

下載檔案(ansible服務器)

本次實戰用到的所有檔案如下表所示：

上述11個檔案的下載地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
3. cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
4. cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
5. cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
6. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel
7. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha256 （下載完畢后，將擴展名從.sha256改為.sha）
8. hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml：這四個檔案都保存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這里面有多個檔案夾，上述檔案在名為ansible-cdh6-single的檔案夾中，如下圖紅框所示：
   

檔案擺放(ansible服務器)

如果您已經下載好了上述11個檔案，請按照如下位置擺放，這樣才能順利完成部署：

1. 在家目錄下新建名為playbooks的檔案夾：mkdir ~/playbooks
2. 把這四個檔案放入playbooks檔案夾：hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml
3. 在playbooks檔案夾里新建名為cdh6的子檔案夾；
4. 把這七個檔案放入cdh6檔案夾(即剩余的七個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha
5. 擺放完畢后目錄和檔案情況如下圖，再次提醒，檔案夾playbooks一定要放在家目錄下（即：~/）：
   

CDH服務器設定

本次實戰中，CDH服務器hostname是deskmini，IP地址是192.168.50.134，需要做以下操作：

1. 請確保CDH服務器能SSH登錄(用戶名+密碼)；
2. SSH登錄到部署CDH的機器；
3. 檢查/etc/hostname檔案是正確，如下圖：
   
4. 修改/etc/hosts檔案，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要，如果不做可能導致在部署時一直卡在"分配"階段，看agent日志顯示agent下載parcel的進度一直是百分之零）：
   

ansible引數設定(ansible服務器)

ansible引數設定的操作設定很簡單，就是把部署CDH的機器資訊配置好即可，包括IP地址、登錄賬號、密碼等，修改~/playbooks/hosts檔案，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]
deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

部署(ansible服務器)

1. 進入~/playbooks目錄；
2. 檢查ansible遠程操作CDH服務器是否正常，執行命令ansible deskmini -a "free -m"，正常情況下顯示CDH服務器的記憶體資訊，如下圖：
   
3. 執行此命令開始部署：ansible-playbook cdh-single-install.yml
4. 整個部署程序涉及在線安裝、傳遞檔案等耗時的操作，因此請耐心等待（半小時左右），我在部署期間遭遇網路問題導致失敗退出，待網路正常后再重新執行上述操作即可，ansible保證了操作的冪等性；
5. 部署成功如下圖所示：
   

重啟CDH服務器

由于修改了selinux和swap的設定，需要重啟作業系統才能生效，因此請重啟CDH服務器；

啟動(ansible服務器)

1. 等待CDH服務器重啟成功；
2. 登錄ansible服務器，進入~/playbooks目錄；
3. 執行此命令開始初始化資料庫，然后啟動CDH：ansible-playbook cdh-single-start.yml
4. 啟動完成輸出如下資訊：
   

設定(網頁)

CDH已經啟動，CDH服務器對外提供了web服務，可以通過瀏覽器來操作：

1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是admin：
   
2. 一路next，在選擇版本頁面選擇60天體驗版：
   
3. 選擇主機頁面可見deskmini：
   
4. 選擇下圖紅框中的CDH版本，因為對應的離線包已經復制到CM的本地倉庫，無需下載：
   
5. 下載瞬間完成，等候分配、解壓、激活：
   
6. 選擇服務的頁面，我這里選擇了Data Engineering，因為需要spark：
   
7. 選擇機器的頁面，全選deskmini：
   
8. 資料庫設定頁面，請和下圖保持一致，資料庫主機都是localhost，每個資料庫的名稱、用戶名、密碼都相同，分別是：hive、amon、rman、oozie、hue
   
9. 引數設定頁面，請根據磁盤情況適當調整存盤路徑，例如我的/home目錄空間充足，這里都改到了/home目錄下面：
   
10. 等待啟動完成：
    
11. 等待啟動完成后，如下圖所示：
    
    至此，所有服務啟動完成，不過有兩個小問題需要修復；

修復HDFS問題

1. 服務整體情況如下圖，HDFS服務有問題，點擊紅框中的圖示：
   
2. 點擊下圖紅框位置：
   
3. 故障詳情如下圖所示，屬于常見的副本不足的問題：
   
4. 如下圖所示，修改HDFS的配置dfs.replication，從3改成1，然后保存更改：
   
5. 重啟服務：
   
6. 經過上述設定，副本數已經調整為1，但是已有檔案的副本數還沒有同步，需要重新做設定，SSH登錄到電腦deskmini上；
7. 執行命令vi /etc/passwd，找到賬號hdfs的配置，如下圖紅框所示，/sbin/nologin這樣的shell會導致切換到hdfs賬號失敗：
   
8. 將上述紅框中的內容改為/bin/bash，修改后如下圖紅框所示：
   
9. 執行命令su - hdfs，即可切換到hdfs賬號，此時執行以下命令即可完成副本數設定：

hadoop fs -setrep -R 1 /

10. 服務已經全部正常了：
    

調整YARN引數避免spark-shell啟動失敗

1. YARN默認給容器分配的記憶體過小，導致啟動spark-shell失敗，需要調整YARM相關的記憶體引數：
   
2. 在YARN的配置頁面，調整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb這兩個引數的值，我這里將這個兩個引數的值都改成8G（請按照自己電腦實際硬體配置來調整），如下圖：
   
3. 重啟YARN：
   
4. 執行spark-shell命令之前，先執行命令su - hdfs切換到hdfs賬號；
5. 這次終于成功進入spark-shell互動模式：
   
   至此，CDH6的部署、啟動、設定都已經完成，接下來體驗一下大資料服務；

體驗HDFS和Spark

接下來運行一個Spark任務，經典的WordCount：

1. 準備一份文本檔案，里面是英文內容，您可以下載這個檔案：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/GoneWiththeWind.txt
2. 登錄SSH，切換到hdfs賬號；
3. 創建HDFS檔案夾：

hdfs dfs -mkdir /input

4. 將文本檔案上傳到/input目錄：

hdfs dfs -put ./GoneWiththeWind.txt /input

5. 執行命令spark-shell，啟動一個worker；
6. 輸入以下命令，即可完成一次WorkCount任務，192.168.50.134是deskmini的IP地址：

sc.textFile("hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.50.134:8020/output")

7. 執行完畢后，下載結果檔案：

hdfs dfs -get /output/*

8. 上述命令將spark任務的結果檔案part-00000、part-00001下載到本機，用vi命令查看檔案，如下圖，可見WorkCount執行成功：
   
9. 在瀏覽器上查看歷史任務，地址是：http://192.168.50.134:18088 ，可見此次任務的詳情：
   
   至此，CDH6的部署、設定、體驗都已經完成，如果您正在搭建自己的學習或者開發環境，希望本文能給您一些參考，

深度定制

整個實戰雖然避免了傳統部署程序中的大量手動操作，但弊端也很明顯：所有路徑、檔案名、服務版本都是固定的，不能做任何設定，雖然ansible也支持變數，但是如果變數太多也會給您帶來困擾，所以，如果您有修改版本或路徑的需求，建議您自行修改cdh-single-install.yml、cdh-single-start.yml的內容，所有檔案和版本資訊都在里面，

歡迎關注公眾號：程式員欣宸

微信搜索「程式員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos

標籤：其他

上一篇：學習第55天

下一篇：Thumbnailator處理圖片