CDH環境搭建及部署

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基于Web的用戶界面,支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop，

二、安裝部署

2.1 集群架構

2.2 基礎環境配置

2.2.1 網路配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static 
ONBOOT=yes
IPADDR=10.211.55.100
NETMASK=255.255.255.0 
GATEWAY=10.211.55.1

systemctl restart network.service  #重啟網路服務

2.2.2 禁用防火墻和SELINUX

systemctl stop firewalld
systemctl disable firewalld

vi /etc/sysconfig/selinux

SELINUX=disabled  #將SELINUX的值改為disabled

reboot  #重啟設備使selinux的配置生效

2.2.3 更改主機名

hostnamectl set-hostname  zero

2.2.3 修改hosts

vi /etc/hosts

10.211.55.100 zero
10.211.55.101 hadoop1
10.211.55.102 hadoop2

reboot  #修改完后重啟生效

2.2.4 同步時間

yum -y install ntp  #安裝NPT服務

vi /etc/ntp.conf  #修改組態檔

#注釋掉原有的server指向
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#zero節點指向
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org

server 10.211.55.100 iburst  #Hadoop1/Hadoop2節點指向zero節點

ntpdate -u cn.pool.ntp.org  #同步網路時間

#重啟ntp服務
systemctl start ntpd
systemctl enable ntpd

hwclock --localtime -w  #將系統時間寫入本地硬體時鐘時間

2.2.5 配置SSH免密登錄

ssh-keygen -t rsa  #不輸入密碼，一路回車

ssh-copy-id hadoop1
ssh-copy-id hadoop2

#測驗連通性
ssh 'zero'
ssh 'hadoop1'
ssh 'hadoop2'

2.2.6 安裝JDK

mkdir /usr/Java/  #創建目錄
tar -zxvf jdk1.8.0_211.tar.gz -C /usr/Java/  #解壓JDK包到指定目錄

vi /etc/profile	 #配置環境變數

#JAVA
export JAVA_HOME=/usr/Java/jdk1.8.0_211
export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile  #使組態檔生效

java -version  #查看版本資訊 檢測安裝是否成功

#安裝成功后的回傳資訊
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

2.2.7 安裝MySQL（主節點安裝即可）

#查看系統中是否已安裝MySQL服務 如果存在則洗掉MySQL及其依賴的包
rpm -qa | grep mysql
yum list installed | grep mysql

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
yum install mysql-server #安裝MySQL 如出現提示 一路y到底

安裝完畢后，運行MySQL，后在 /var/log/mysqld.log檔案中會自動生成一個隨機密碼，

service mysqld start  #運行MySQL
grep "password" /var/log/mysqld.log  #取得隨機密碼 用于登錄 MySQL 服務端

#回傳資訊如下 “6WjiI.UxuoaF”即為MySQL登陸密碼
2021-01-05T11:04:28.684402Z 1 [Note] A temporary password is generated for root@localhost: 6WjiI.UxuoaF

登錄到 MySQL 服務端并更改密碼，

/*修改密碼*/
SET PASSWORD = PASSWORD('new password');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;

/*設定用戶 root 可以在任意 IP 下被訪問*/
grant all privileges on *.* to root@"%" identified by "new password";

/*設定用戶 root 可以在本地被訪問*/
grant all privileges on *.* to root@"localhost" identified by "new password";

/*重繪權限使其生效*/
flush privileges;

2.3 Cloudera Manager的安裝及部署

2.3.1 安裝Cloudera Manager

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb  #安裝第三方依賴包

mkdir -p /opt/cloudera-manager #創建目錄

解壓Cloudera Manager包到/opt/cloudera-manager目錄下，

tar -zvxf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz  -C  /opt/cloudera-manager/

2.3.2 配置Cloudera Manager

修改agent組態檔，

vi /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini

#組態檔修改如下

# Hostname of the CM server.
server_host=zero

# Port that the CM server is listening on.
server_port=7182

為CM創建一個專用的普通用戶 cloudera-scm，

useradd --system  #表示創建的是系統用戶
--home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server  #指定了用戶的主目錄
--no-create-home #表示不再創建用戶的主目錄
--shell=/bin/false  #不作為登陸用戶 
--comment "Cloudera SCM User" 
cloudera-scm  #用戶名

配置資料庫訪問權限，添加用戶，

grant all privileges on  *.*  to 'temp'@'%' identified by 'password' with grant option;
flush privileges;

在主節點上執行CM在MySQL中的初始化腳本，

mv mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

#進入初始化腳本目錄下
cd /opt/cloudera-manager/cm-5.14.0/share/cmf/schema

#運行初始化腳步
./scm_prepare_database.sh mysql -h zero -utemp -ppassword --scm-host zero scm scm scm

配置CDH源（注意下載的時候需要版本對應，el5/6/7分別對應CentOS5/6/7，）

#創建目錄
mkdir -p /opt/cloudera/parcel-repo  #主節點
mkdir -p /opt/cloudera/parcels  #所有節點

#將parcel檔案移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel  /opt/cloudera/parcel-repo/

#將json檔案移動到parcel-repo目錄下
mv manifest.json  /opt/cloudera/parcel-repo/

#重命名校驗碼檔案并移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1  /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha

更改目錄所有人

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  #主節點
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  #所有節點

2.3.3 啟動CM行程服務

啟動server（主節點）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [  確定  ]  #成功啟動后的回傳資訊

啟動agent（所有節點）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  確定  ]  #成功啟動后的回傳資訊

2.3.3 開始部署

打開http://10.211.55.100:7180/進入CM初始界面，賬號密碼為admin，

登陸進入勾選同意條款，點擊繼續，選擇免費版本，

繼續下一步，勾選安裝主機，

群集安裝默認勾選即可，點擊繼續，等待安裝完成，

點擊繼續，檢查主機正確性，參照給出的資訊進行修復，

點擊繼續，選擇需要的服務，

點擊繼續，進行角色分配，

配置資料庫，使其連接成功，

審核更改頁面直接默認，點擊繼續，

等待部署完成，

點擊繼續，安裝完成，感動新中國😭，

三、錯誤&解決

#錯誤
Your password does not satisfy the current policy requirements

#解決方法
vi /etc/my.cnf  #修改組態檔my.cnf
validate_password=off  #關閉密碼策略設定validate_password
service mysqld restart  #重啟服務

#錯誤
為CDH群集安裝指定主機無法勾選，

#解決方法
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server stop  #停止server
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent stop  #停止agent

#洗掉/opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/目錄下內容
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/*

/*洗掉MySQL資料庫中scm資料庫下的hosts表中的資料*/
use scm;
delete from HOSTS;

#錯誤
MainThread agent ERROR Error, CM server guid updated, expected 7cda865f-a833-40d1-9fa6-761631c74326, received e2678b78-7c5e-4703-91b6-c52e2875988c

#解決方法
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-agent/cm_guid

#錯誤
ERROR Table 'scm.CM_VERSION' doesn't exist

#解決方法
vi /etc/my.cnf  #修改組態檔my.cnf
lower_case_table_names = 1  #[mysqld]節點下添加
service mysqld restart  #重啟服務

#錯誤
ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.

#解決方法
mkdir /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server    #創建目錄并加上權限