放棄很簡單，但堅持一定很酷

YARN-HA集群配置

YARN-HA作業機制

1.官方檔案

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

2.作業機制圖

其實就是配置多臺RM保證集群高可用，操作和上個檔案差不多

配置YARN-HA集群

1.環境準備

（1）修改IP

（2）修改主機名及主機名和IP地址的映射

（3）關閉防火墻

（4）ssh免密登錄

（5）安裝JDK，配置環境變數等

? （6）配置Zookeeper集群

2. 規劃集群

本來的RM是在hadoop103，現在在hadoop102也配置一個

hadoop102	hadoop103	hadoop104
NameNode	NameNode
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
ZK	ZK	ZK
ResourceManager	ResourceManager
NodeManager	NodeManager	NodeManager

3.具體配置

（1）yarn-site.xml

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--啟用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--宣告兩臺resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
 
    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

    <!--啟用自動恢復--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定resourcemanager的狀態資訊存盤在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

</configuration>

（2）同步更新其他節點的配置資訊

4.啟動hdfs

（1）在各個JournalNode節點上，輸入以下命令啟動journalnode服務：

sbin/hadoop-daemon.sh start journalnode

（2）在[nn1]上，對其進行格式化，并啟動：

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

（3）在[nn2]上，同步nn1的元資料資訊：

bin/hdfs namenode -bootstrapStandby

（4）啟動[nn2]：

sbin/hadoop-daemon.sh start namenode

（5）啟動所有DataNode

sbin/hadoop-daemons.sh start datanode

（6）將[nn1]切換為Active

bin/hdfs haadmin -transitionToActive nn1

5.啟動YARN

（1）在hadoop102中執行：

sbin/start-yarn.sh

（2）在hadoop103中執行：

sbin/yarn-daemon.sh start resourcemanager

（3）查看服務狀態，如圖3-24所示

bin/yarn rmadmin -getServiceState rm1

【HDFS篇13】HA高可用 --- YARN-HA集群配置