💜🧡💛制作不易，各位友友們，大佬們給點鼓勵！
🧡💛💚點贊👍 ? 收藏? ? 關注?
💛💚💙歡迎各位大佬指教，一鍵三連走起！
一、ZooKeeper搭建
1、上傳安裝包到master并解壓
tar -xvf zookeeper-3.4.6.tar.gz
2、配置環境變數
vim /etc/profile
修改添加配置資訊，保存并退出
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
重繪配置：
source /etc/profile
3、修改zk的組態檔
進入zk的組態檔目錄，在zk的home目錄下/usr/local/soft/zookeeper/zookeeper-3.4.6/
cd /usr/local/soft/zookeeper/zookeeper-3.4.6/conf
重命名組態檔
cp zoo_sample.cfg zoo.cfg
修改組態檔中資訊
dataDir=/usr/local/soft/zookeeper-3.4.6/data
并添加下面配置資訊
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888
4、新建data目錄
進入zk的home目錄
cd /usr/local/soft/zookeeper-3.4.6
創建data目錄
mkdir data
進入data目錄
cd data
新建檔案myid
touch myid
5、同步zk的home到其它節點
scp -r zookeeper-3.4.6 node1:`pwd`
scp -r zookeeper-3.4.6 node2:`pwd`
配置node1和node2的環境變數，同上面步驟
在所有節點執行
source /etc/profile
6、編輯/usr/local/soft/zookeeper-3.4.6/data/myid
在master,node1,node2三臺機器的myid檔案分別加上0，1，2
注意：只要加上數字就可，例如：master的myid中寫入0
7、啟動zk，
zkServer.sh start 三臺都需要執行
zkServer.sh status 查看狀態
通過jps可以查看zk的行程：QuorumPeerMain
當有一個leader的時候啟動成功
停止zk的方法：
zkServer.sh stop 三臺都需要執行
8、連接zk
zkCli.sh
zk 是一個目錄結構 ，每個節點可以存資料，同時可以有子節點
9.zk的常用shell命令
創建目錄
create /test testData
create /test/a aData
獲取資料
get /test
ls /test
delete 只能洗掉沒有子節點的節點
rmr /test 洗掉節點
10.重置zk
1、殺掉所有zk行程
kiil -9 pid
2、洗掉data目錄下的version檔案, 所有節點都要洗掉
rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2
2、啟動zk
zkServer.sh start
二、HDFS的高可用HA的詳細配置
高可用配置各個節點上的行程配置如下：
ZK NN DN RM NM JN ZKFC
master 1 1 1 1 1
node1 1 1 1 1 1 1 1
node2 1 1 1 1
HA詳細配置步驟
1、防火墻
service firewalld stop #關閉防火墻
2、設定機器時間同步
yum install ntp
ntpdate -u s2c.time.edu.cn
或者使用：
date -s 20180503
3、免密鑰 (遠程執行命令)
在兩個主節點生成密鑰檔案
ssh-keygen -t rsa
遠程復制到各個節點
ssh-copy-id 各個節點ip
分別從master和node1上復制到三臺機器如下
master-->master,node1,node2
node1-->master,node1,node2
4、修改hadoop組態檔
進入hadoo的home中的etc/hadoop/目錄
/usr/local/soft/hadoop-2.7.6/etc/hadoop/目錄下
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,node1:2181,node2:2181</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!-- 指定hdfs元資料存盤的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/namenode</value>
</property>
<!-- 指定hdfs資料存盤的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/datanode</value>
</property>
<!-- 資料備份的個數 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 關閉權限驗證 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<!-- 開啟WebHDFS功能（基于REST的介面服務） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!-- //////////////以下為HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名稱為mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>
<!-- 指定cluster的兩個namenode的名稱分別為nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>
<!-- 配置nn1,nn2的rpc通信埠 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>
<!-- 配置nn1,nn2的http通信埠 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:50070</value>
</property>
<!-- 指定namenode元資料存盤在journalnode中的路徑 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>
<!-- 指定journalnode日志檔案存盤的路徑 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/journal</value>
</property>
<!-- 指定HDFS客戶端連接active namenode的java類 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制為ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 指定秘鑰的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 開啟自動故障轉移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>
停止HDFS集群：stop-dfs.sh
將修改的hadoop配置資訊,同步到其它節點node1,noded2
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop #進入該目錄下，scp到各節點
scp ./* node1:`pwd`
scp ./* node2:`pwd`
5、洗掉hadoop資料存盤目錄下的檔案 每個節點都需要洗掉
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
6、啟動zookeeper 三臺都需要啟動
zkServer.sh start
zkServer.sh status
7、啟動JN 存盤hdfs元資料
三臺JN上執行 啟動命令：
進入hadoop的sbin目錄執行hadoop-daemon.sh
/usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode
8、格式化 在一臺NN上執行，這里選擇master
hdfs namenode -format
啟動當前的NN
hadoop-daemon.sh start namenode
9、執行同步 沒有格式化的NN上執行 在另外一個namenode上面執行 這里選擇node1
/usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby
10、格式化ZK 在master上面執行
注意！！一定要先 把zk集群正常 啟動起來
/usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK
11、啟動hdfs集群,在master上執行
start-dfs.sh
三、YARN高可用HA搭建
1、修改組態檔
yarn-site.xml
<configuration>
<!-- NodeManager上運行的附屬服務，需配置成mapreduce_shuffle才可運行MapReduce程式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 開啟日志 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 配置日志洗掉時間為7天，-1為禁用，單位為秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<!-- //////////////以下為YARN HA的配置////////////// -->
<!-- 開啟YARN HA -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 啟用自動故障轉移 -->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定YARN HA的名稱 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarncluster</value>
</property>
<!-- 指定兩個resourcemanager的名稱 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 配置rm1，rm2的主機 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node1</value>
</property>
<!-- 配置YARN的http埠 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>node1:8088</value>
</property>
<!-- 配置zookeeper的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,node1:2181,node2:2181</value>
</property>
<!-- 配置zookeeper的存盤位置 -->
<property>
<name>yarn.resourcemanager.zk-state-store.parent-path</name>
<value>/rmstore</value>
</property>
<!-- 開啟yarn resourcemanager restart -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置resourcemanager的狀態存盤到zookeeper中 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 開啟yarn nodemanager restart -->
<property>
<name>yarn.nodemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置nodemanager IPC的通信埠 -->
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:45454</value>
</property>
</configuration>
停止yarn集群： stop-yarn.sh
修改的配置資訊，同步到其它節點
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
scp ./* node1:`pwd`
scp ./* node2:`pwd`
2、啟動yarn 在master啟動
start-yarn.sh
3、在node1上啟動另一個RM
/usr/local/soft/hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager
最后可以進入到web頁面查看
master:8088
node1:8088
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/298078.html
標籤：其他