這是我的錯誤日志：
$ /spark-submit --master yarn --deploy-mode cluster pi.py
...
2021-12-23 01:31:04,330 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sbnn-error
at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)
at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1954)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1442)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1895)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:860)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:526)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
, while invoking ClientNamenodeProtocolTranslatorPB.setPermission over master/172.17.0.2:8020. Trying to failover immediately.
...
為什么我得到這個錯誤？
注意。Spark master 運行'master'，所以spark-submit 命令在'master'中運行
注意。Spark worker 運行 'worker1' 和 'worker2' 和 'worker3'
注意。ResourceManager 在“master”和“master2”中運行
添加。當列印上面的錯誤日志時，master2 的 DFSZKFailoverController 消失到 jps 命令結果。
添加。當列印上面的錯誤日志時，master 的 Namenode 消失到 jps 命令結果中。
uj5u.com熱心網友回復：
當 Spark 無法訪問 HDFS 時會發生這種情況。
如果配置正確，HDFS 客戶端將通過嘗試將自身故障轉移到 HA 中的另一個 NameNode 來處理 StandbyException，然后它將重新嘗試該操作。
手動替換活動的 Namenode URI 并檢查您是否仍然遇到相同的錯誤，如果沒有，則 HA 配置不正確。
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/392366.html