主頁 >  其他 > Hadoop HA高可用

Hadoop HA高可用

2022-02-03 07:17:09 其他

個人學習整理，所有資料來自尚硅谷

文章目錄

  • Hadoop HA高可用
    • 1. HA概述
    • 2. HDFS-HA集群搭建
      • 2.1 HDFS-HA核心問題
    • 3. HDFS-HA手動模式
      • 3.1 環境準備
      • 3.2 配置HDFS-HA集群
      • 3.3 啟動HDFS-HA集群
    • 4. HDFS-HA自動模式
      • 4.1 HDFS-HA自動故障轉移作業機制
      • 4.2 HDFS-HA自動故障轉移的集群規劃
      • 4.3 配置HDFS-HA自動故障轉移
        • 4.3.1 具體配置
        • 4.3.2 啟動
    • 5. YARN-HA配置
      • 5.1 YARN-HA作業機制
      • 5.2 配置YARN-HA集群
    • 6. HADOOP HA 的最終規劃

Hadoop HA高可用

1. HA概述

  1. 所謂HA（High Availability），即高可用（7*24小時不中斷服務）
  2. 實作高可用最關鍵的策略是消除單點故障，HA嚴格來說應該分成各個組件的HA機制：HDFS的HA和YARN的HA.
  3. NameNode主要在以下兩個方面影響HDFS集群：

  • NameNode機器發生意外，如宕機，集群將無法使用，直到管理員重啟，

  • NameNode機器需要升級，包括軟體、硬體升級，此時集群也將無法使用，

    HDFS HA功能通過配置多個NameNode（Active/Standby）實作在集群中對NameNode的熱備來解決上述問題，如果出現故障，如機器崩潰或者機器需要升級維護，此時可通過此方式將NameNode很快的切換到另外一臺機器，

2. HDFS-HA集群搭建

? 當前HDFS集群的規劃

hadoop102hadoop103hadoop104
NameNodeSecondarynamenode
DataNodeDataNodeDataNode

? HA的主要目的是消除namenode的單點故障，需要將hdfs集群規劃成以下模樣

hadoop102hadoop103hadoop104
NameNodeNameNodeNameNode
DataNodeDataNodeDataNode

2.1 HDFS-HA核心問題

  1. 怎么保證三臺namenode的資料一致？

    a. Fsimage：讓一臺nn生成資料，讓其他機器nn同步

    b. Edits：需要引進新的模塊JournalNode來保證edits的檔案的資料一致性

  2. 怎么讓同時只有一臺nn是active，其他所有是standby？

    a. 手動分配

    b. 自動分配

  3. 2nn在ha架構中并不存在，定期合并fsimage和edits誰來做？

    由standby的nn來做

  4. 如果nn發生了什么問題，如何讓其他的nn上位干活？

    a. 手動故障轉移

    b. 自動故障轉移

3. HDFS-HA手動模式

3.1 環境準備

  1. 修改IP
  2. 修改主機名及主機名和IP地址的映射
  3. 關閉防火墻
  4. ssh免密登錄
  5. 安裝JDK，配置環境變數等

3.2 配置HDFS-HA集群

  1. 在opt目錄下創建一個ha檔案
[atguigu@hadoop102 ~]$ cd /opt
[atguigu@hadoop102 opt]$ sudo mkdir ha
[atguigu@hadoop102 opt]$ sudo chown atguigu:atguigu /opt/ha
  1. 將/opt/module下的hadoop-3.1.3拷貝到/opt/ha目錄下（洗掉data和log目錄）
[atguigu@hadoop102 opt]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/
  1. 配置core-site.xml
<configuration>
<!-- 把多個 NameNode 的地址組裝成一個集群 mycluster -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
	</property>
<!-- 指定 hadoop 運行時產生檔案的存盤目錄 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/ha/hadoop-3.1.3/data</value>
	</property>
</configuration>
  1. 配置hdfs-site.xml
<configuration>
<!-- NameNode 資料存盤目錄 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/name</value>
	</property>
<!-- DataNode 資料存盤目錄 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/data</value>
	</property>
<!-- JournalNode 資料存盤目錄 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>${hadoop.tmp.dir}/jn</value>
	</property>
<!-- 完全分布式集群名稱 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
<!-- 集群中 NameNode 節點都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2,nn3</value>
	</property>
<!-- NameNode 的 RPC 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:8020</value>
	</property>
    <property>
		<name>dfs.namenode.rpc-address.mycluster.nn3</name>
		<value>hadoop104:8020</value>
	</property>
<!-- NameNode 的 http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn3</name>
		<value>hadoop104:9870</value>
	</property>
<!-- 指定 NameNode 元資料在 JournalNode 上的存放位置 -->
	<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	</property>
<!-- 訪問代理類：client 用于確定哪個 NameNode 為 Active -->
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
<!-- 配置隔離機制，即同一時刻只能有一臺服務器對外回應 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
<!-- 使用隔離機制時需要 ssh 秘鑰登錄-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/atguigu/.ssh/id_rsa</value>
	</property>
</configuration>
  1. 分發配置好的hadoop環境到其他節點

3.3 啟動HDFS-HA集群

  1. 將HADOOP_HOME環境更改到HA目錄（三臺機器）
[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/ha/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在三臺機器上source環境變數

[atguigu@hadoop102 ~]$source /etc/profile
  1. 在各個JournalNode節點上，輸入以下命令啟動journalnode服務
[atguigu@hadoop102 ~]$ hdfs --daemon start journalnode
[atguigu@hadoop103 ~]$ hdfs --daemon start journalnode
[atguigu@hadoop104 ~]$ hdfs --daemon start journalnode
  1. 在【nn1】上，對其進行格式化并啟動
[atguigu@hadoop102 ~]$ hdfs namenode -format
[atguigu@hadoop102 ~]$ hdfs --daemon start namenode
  1. 在【nn2】和【nn3】上同步【nn1】的元資料資訊
[atguigu@hadoop103 ~]$ hdfs namenode -bootstrapStandby
[atguigu@hadoop104 ~]$ hdfs namenode -bootstrapStandby

在這里插入圖片描述

在這里插入圖片描述

  1. 啟動【nn2】和【nn3】
[atguigu@hadoop103 ~]$ hdfs --daemon start namenode
[atguigu@hadoop104 ~]$ hdfs --daemon start namenode
  1. 查看web頁面顯示

在這里插入圖片描述

在這里插入圖片描述

在這里插入圖片描述

三臺機器目前都是standby，手動配置高可用集群，需將一臺改成active，

  1. 在所有節點上，啟動datanode
[atguigu@hadoop102 ~]$ hdfs --daemon start datanode
[atguigu@hadoop103 ~]$ hdfs --daemon start datanode
[atguigu@hadoop104 ~]$ hdfs --daemon start datanode
  1. 將【nn1】切換為Active
[atguigu@hadoop102 ~]$ hdfs haadmin -transitionToActive nn1

在這里插入圖片描述

  1. 查看是否Active
[atguigu@hadoop102 ~]$ hdfs haadmin -getServiceState nn1
  1. kill掉hadoop102上的NameNode行程
    在這里插入圖片描述

此時在hadoop103上將【nn2】切換為Active，出現如下情況：

在這里插入圖片描述

再次啟動【nn1】：

[atguigu@hadoop102 ~]$ hdfs --daemon start namenode

在這里插入圖片描述

此時hadoop102狀態重新變為standby，此時若再在hadoop103上將【nn2】切換為Active：

[atguigu@hadoop103 ~]$ hdfs haadmin -transitionToActive nn2
[atguigu@hadoop103 ~]$ hdfs haadmin -getServiceState nn2
active

在這里插入圖片描述

分析：為什么手動配置高可用集群時需要所有namenode是啟動狀態，才能讓其中一個節點轉換為active？

原因：當前集群中設定了一個隔離機制，同一時間只能允許有一個active的namenode對外服務，現在配置了三個namenode，要讓hadoop102的namenode切換為Active就要保證它能和hadoop103和hadoop104相互連接，如果hadoop102與hadoop104無法連接成功，那么只能代表hadoop102與hadoop104之間無法通信，但是hadoop104可能能與其他服務器進行通信，假如hadoop104的namenode是Active狀態，然后現在再讓hadoop102的namenode切換為Active，那么之后就會出現兩個Acitve，出現腦裂情況，因此手動配置高可用集群時需要所有namenode是啟動狀態，

因此這種HA手動模式并不是真正意義上的高可用，

4. HDFS-HA自動模式

4.1 HDFS-HA自動故障轉移作業機制

? 自動故障轉移為HDFS部署增加了兩個新組件：Zookeeper和ZKFailoverController（ZKFC）行程，Zookeeper是維護少量協調資料，通知客戶端這些資料的改變和監視客戶端故障的高可用服務，
在這里插入圖片描述

4.2 HDFS-HA自動故障轉移的集群規劃

hadoop102hhadoop103hadoop104
NameNodeNameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZookeeperZookeeperZookeeper
ZKFCZKFCZKFC

4.3 配置HDFS-HA自動故障轉移

4.3.1 具體配置

  1. 在hdfs-site.xml中增加
<!-- 啟用 nn 故障自動轉移 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
  1. 在core-site.xml檔案中增加
<!-- 指定 zkfc 要連接的 zkServer 地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
  1. 進行分發
[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml core-site.xml

4.3.2 啟動

  1. 關閉所有HDFS服務
[atguigu@hadoop102 hadoop]$ stop-dfs.sh
  1. 啟動Zookeeper集群
[atguigu@hadoop102 hadoop]$ zk.sh start

zk.sh腳本：

[atguigu@hadoop102 bin]$ cat zk.sh 
#!/bin/bash

case $1 in
"start"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ----------zookeeper $i 啟動----------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" 
	done

};;
"stop"){
	for i in hadoop102 hadoop103 hadoop104
        do
                echo ----------zookeeper $i 停止----------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop" 
        done
};;
"status"){
	for i in hadoop102 hadoop103 hadoop104
        do
                echo ----------zookeeper $i 狀態 ----------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status" 
        done
};;
esac

在這里插入圖片描述

  1. 啟動Zookeeper以后，然后再初始HA在Zookeeper中狀態
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs zkfc -formatZK
  1. 啟動HDFS服務：
[atguigu@hadoop102 hadoop-3.1.3]$ start-dfs.sh

查看行程：

在這里插入圖片描述

  1. 可以去zkCli.sh客戶端查看Namenode選舉鎖節點內容：
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 10] get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock

在這里插入圖片描述

發現hadoop103的namenode為active，觀察web頁面：

  • hadoop102

在這里插入圖片描述

  • hadoop103

在這里插入圖片描述

  • hadoop104
    在這里插入圖片描述
  1. Kill掉Active的namenode的行程（注意：是在hadoop103上kill）：
[atguigu@hadoop103 ~]$ jps
41681 DFSZKFailoverController
42789 Jps
41334 NameNode
41560 JournalNode
41145 QuorumPeerMain
41420 DataNode
[atguigu@hadoop103 ~]$ kill -9 41334

再次去zkCli.sh客戶端查看：

[zk: localhost:2181(CONNECTED) 0] get -s /hadoop-ha/mycluster/Active
ActiveBreadCrumb           ActiveStandbyElectorLock   
[zk: localhost:2181(CONNECTED) 0] get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock

	myclusternn3	hadoop104 �>(�>
cZxid = 0x1100000016
ctime = Tue Feb 01 16:42:21 CST 2022
mZxid = 0x1100000016
mtime = Tue Feb 01 16:42:21 CST 2022
pZxid = 0x1100000016
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x300137a86600001
dataLength = 33
numChildren = 0

發現hadoop104的namenode轉移為active，觀察web頁面：

  • hadoop104
    在這里插入圖片描述

  • hadoop102

在這里插入圖片描述

再次Kill掉Active的namenode的行程（注意：此時是在hadoop104上kill）：

[atguigu@hadoop104 ~]$ jps
40529 JournalNode
40115 QuorumPeerMain
40391 DataNode
42136 Jps
40652 DFSZKFailoverController
40303 NameNode
[atguigu@hadoop104 ~]$ kill -9 40303
[atguigu@hadoop104 ~]$ jps
40529 JournalNode
40115 QuorumPeerMain
40391 DataNode
40652 DFSZKFailoverController
42175 Jps

再次去zkCli.sh客戶端查看：

[zk: localhost:2181(CONNECTED) 0] get -s /hadoop-ha/mycluster/ActiveStandbyElectorLock

	myclusternn1	hadoop102 �>(�>
cZxid = 0x110000001b
ctime = Tue Feb 01 16:48:07 CST 2022
mZxid = 0x110000001b
mtime = Tue Feb 01 16:48:07 CST 2022
pZxid = 0x110000001b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x400137b09dd0000
dataLength = 33
numChildren = 0

發現hadoop102的namenode轉移為active，觀察web頁面：

  • hadoop102

在這里插入圖片描述

最后重啟hadoop103、hadoop104上的namenode行程

[atguigu@hadoop103 zookeeper-3.5.7]$ hdfs --daemon start namenode
[atguigu@hadoop104 zookeeper-3.5.7]$ hdfs --daemon start namenode

觀察web頁面：

  • hadoop103

在這里插入圖片描述

  • hadoop104

在這里插入圖片描述

5. YARN-HA配置

5.1 YARN-HA作業機制

在這里插入圖片描述

當前可以啟動多個ResourceManager，誰先啟動就會現在Zookeeper中注冊一個臨時節點，并成為Active ResourceManager，后啟動的也會嘗試注冊，但會發現該臨時節點已存在，成為Standby ResourceManager，所有Standby ResourceManager會維護一個長輪詢查看該節點資訊是否存在，若該臨時節點不存在了（即Active ResourceManager掛了，該臨時節點自動洗掉了），那么Standby ResourceManager將自動切換成Active ResourceManager，

5.2 配置YARN-HA集群

  1. 規劃集群
hadoop102hadoop103hadoop104
ResourceManagerResourceManagerResourceManager
NodeManagerNodeManagerNodeManager
ZookeeperZookeeperZookeeper
  1. 核心問題：

  • 如果 如果當前 active rm 掛了，其他 rm 怎么將其他 standby rm 上位？

    核心原理跟 hdfs 一樣，利用了 zk 的臨時節點，

  • 當前 rm 上有很多的計算程式在等待運行, 其他的 rm 怎么將這些程式接手過來接著跑？

    rm 會將當前的所有計算程式的狀態存盤在 zk 中,其他 rm 上位后會去讀取，然后接著跑，

  1. 具體配置
  • yarn-site.xml
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
<!-- 啟用 resourcemanager ha -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
<!-- 宣告兩臺 resourcemanager 的地址 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>cluster-yarn1</value>
	</property>
<!--指定 resourcemanager 的邏輯串列-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2,rm3</value>
	</property>
<!-- ========== rm1 的配置 ========== -->
<!-- 指定 rm1 的主機名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop102</value>
	</property>
<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop102:8088</value>
	</property>
<!-- 指定 rm1 的內部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoop102:8032</value>
	</property>
<!-- 指定 AM 向 rm1 申請資源的地址 -->
	<property>
    	<name>yarn.resourcemanager.scheduler.address.rm1</name>
	<value>hadoop102:8030</value>
	</property>
<!-- 指定供 NM 連接的地址 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoop102:8031</value>
	</property>
<!-- ========== rm2 的配置 ========== -->
<!-- 指定 rm2 的主機名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop103</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop103:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>hadoop103:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>hadoop103:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>hadoop103:8031</value>
	</property>
<!-- ========== rm3 的配置 ========== -->
<!-- 指定 rm1 的主機名 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm3</name>
		<value>hadoop104</value>
	</property>
<!-- 指定 rm1 的 web 端地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm3</name>
		<value>hadoop104:8088</value>
	</property>
<!-- 指定 rm1 的內部通信地址 -->
	<property>
		<name>yarn.resourcemanager.address.rm3</name>
   		<value>hadoop104:8032</value>
	</property>
<!-- 指定 AM 向 rm1 申請資源的地址 -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm3</name>
		<value>hadoop104:8030</value>
	</property>
<!-- 指定供 NM 連接的地址 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
		<value>hadoop104:8031</value>
	</property>
<!-- 指定 zookeeper 集群的地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	</property>
<!-- 啟用自動恢復 -->
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
<!-- 指定 resourcemanager 的狀態資訊存盤在 zookeeper 集群 -->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
<!-- 環境變數的繼承 -->
	<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
</configuration>

? 分發yarn-site.xml，

  1. 啟動YARN

    （1）啟動yarn

[atguigu@hadoop102 hadoop]$ start-yarn.sh 
Starting resourcemanagers on [ hadoop102 hadoop103 hadoop104]
Starting nodemanagers
[atguigu@hadoop102 hadoop]$ jpsall 
=============== hadoop102 ===============
46101 DataNode
46566 DFSZKFailoverController
48871 ResourceManager
46360 JournalNode
49194 Jps
48989 NodeManager
45646 QuorumPeerMain
47631 NameNode
=============== hadoop103 ===============
41681 DFSZKFailoverController
44545 NodeManager
44897 Jps
44466 ResourceManager
43221 NameNode
41560 JournalNode
41145 QuorumPeerMain
41420 DataNode
=============== hadoop104 ===============
43744 NodeManager
40529 JournalNode
42434 NameNode
40115 QuorumPeerMain
43923 Jps
40391 DataNode
40652 DFSZKFailoverController
43663 ResourceManager

? （2）查看服務狀態：

[atguigu@hadoop102 hadoop]$ yarn rmadmin -getServiceState rm1
standby
[atguigu@hadoop102 hadoop]$ yarn rmadmin -getServiceState rm2
active
[atguigu@hadoop102 hadoop]$ yarn rmadmin -getServiceState rm3
standby

? （3）可以去zkCli.sh客戶端查看ResourceManager選舉鎖節點內容：

[zk: localhost:2181(CONNECTED) 0] get -s /yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock

cluster-yarn1rm2
cZxid = 0x1100000030
ctime = Tue Feb 01 17:19:03 CST 2022
mZxid = 0x1100000030
mtime = Tue Feb 01 17:19:03 CST 2022
pZxid = 0x1100000030
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x300137a86600005
dataLength = 20
numChildren = 0

? （4）web查看hadoop102:8088的yarn狀態：

自動跳轉至hadoop103:8088/cluster
在這里插入圖片描述

? （5）若kill掉hadoop103上的ResourceManager行程

[atguigu@hadoop103 zookeeper-3.5.7]$ jps
41681 DFSZKFailoverController
44545 NodeManager
44466 ResourceManager
43221 NameNode
41560 JournalNode
41145 QuorumPeerMain
45195 Jps
41420 DataNode
[atguigu@hadoop103 zookeeper-3.5.7]$ kill -9 44466

查看服務狀態：

[atguigu@hadoop103 zookeeper-3.5.7]$ yarn rmadmin -getServiceState rm1
active
[atguigu@hadoop103 zookeeper-3.5.7]$ yarn rmadmin -getServiceState rm2
2022-02-01 17:46:50,053 INFO ipc.Client: Retrying connect to server: hadoop103/192.168.10.103:8033. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=1, sleepTime=1000 MILLISECONDS)
Operation failed: Call From hadoop103/192.168.10.103 to hadoop103:8033 failed on connection exception: java.net.ConnectException: 拒絕連接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
[atguigu@hadoop103 zookeeper-3.5.7]$ yarn rmadmin -getServiceState rm3
standby

web查看hadoop102:8088和hadoop104:8088的yarn狀態：

自動跳轉至hadoop102:8088/cluster

在這里插入圖片描述

6. HADOOP HA 的最終規劃

將整個 ha 搭建完成后,集群的最終規劃：

hadoop102hadoop103hadoop104
NameNodeNameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZookeeperZookeeperZookeeper
ZKFCZKFCZKFC
ResourceManagerResourceManagerResourceManager
NodeManagerNodeManagerNodeManager

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/423329.html

標籤：其他

上一篇：Wazuh從入門到上線

下一篇：IPFS 入門筆記

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂