前言：《讀者來信》是HBase老店開設的一個問答專欄，旨在能為更多的小伙伴解決作業中常遇到的HBase相關的問題，老店會盡力幫大家解決這些問題或幫你發出求救貼，老店希望這會是一個互幫互助的小平臺，有問題請直接在老店后臺留言，有好的解決方案也請不要吝嗇，誠摯歡迎大家能在留言區積極探討解決方案，大膽發表自己的看法，也許你今天幫別人解決的問題，就是你明天可能遇到的答案，

來信人：劉*剛

小猿提問

在重啟HBase集群的程序中，RS節點全部啟動成功了，但是HMaser一直啟動不起來，錯誤日志如下：

unexpected error, closing socket connection and attempting reconnect
java.io.IOException: Packet len4745468 is out of range!
	at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)
	at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)
2020-04-02 22:31:08,673 ERROR [hadoop01:16000.activeMasterManager] zookeeper.RecoverableZooKeeper: ZooKeeper getChildren failed after 4 attempts
2020-04-02 22:31:08,674 FATAL [hadoop01:16000.activeMasterManager] master.HMaster: Failed to become active master
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/region-in-transition
	at org.apache.zookeeper.KeeperException.create(KeeperException.java:99)
	at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
	at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1472)
	at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.getChildren(RecoverableZooKeeper.java:295)
	at org.apache.hadoop.hbase.zookeeper.ZKUtil.listChildrenNoWatch(ZKUtil.java:513)
	at org.apache.hadoop.hbase.master.AssignmentManager.processDeadServersAndRegionsInTransition(AssignmentManager.java:519)
	at org.apache.hadoop.hbase.master.AssignmentManager.joinCluster(AssignmentManager.java:494)
	at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:748)
	at org.apache.hadoop.hbase.master.HMaster.access$500(HMaster.java:184)
	at org.apache.hadoop.hbase.master.HMaster$1.run(HMaster.java:1729)
	at java.lang.Thread.run(Thread.java:748)

小猿分析

HBase 版本：Apache 1.2.1
集群規模：120000+ region

看錯誤日志，好像只看到了ZK的身影，日志關鍵詞是[ZooKeeper.getChildren|Packet|out of range|ConnectionLoss for /hbase/region-in-transition]，
我們知道，HBase Master 重啟時要做很多初始化作業，要與ZK資料節點進行一些互動作業，如元資料或節點狀態的注冊、修改、獲取等等，看這些關鍵詞大概好像明白是怎么回事：ZooKeeper在getChildren（region-in-transition）的時候超出了Packet的range，導致連接丟失了，Failed to become active master，

那什么是Packet呢？小猿問了問度娘，度娘回答說：

在 ZooKeeper 中，Packet 是一個最小的通信協議單元，即資料包，Pakcet 用于進行客戶端與服務端之間的網路傳輸，任何需要傳輸的物件都需要包裝成一個 Packet 物件，

那就是讀取zk節點資料包長度有限制咯，這個時候我們肯定是先去網上找下zk有沒有相關的引數可以調一下，結果還真的有：jute.maxbuffer，感覺自己很幸運，套用官網的話解釋一下這個引數：

(Java system property: jute.maxbuffer)
This option can only be set as a Java system property. There is no zookeeper prefix on it. It specifies the maximum size of the data that can be stored in a znode. The default is 0xfffff, or just under 1M. If this option is changed, the system property must be set on all servers and clients otherwise problems will arise. This is really a sanity check. ZooKeeper is designed to store data on the order of kilobytes in size.

翻譯一下：

（Java系統屬性：jute.maxbuffer）
此選項只能設定為Java系統屬性，上面沒有Zookeeper前綴，它指定可以存盤在znode中的資料的最大大小，默認值為0xfffff，或不到1M，如果更改此選項，則必須在所有服務器和客戶端上設定系統屬性，否則會出現問題，這確實是一個健全性檢查，ZooKeeper旨在存盤大小為千位元組的資料，

也有另一種說法：

需要注意的是，該引數并不是在 Server 和 Client 端同時設定才會生效，實際情況是，在客戶端設定后，Zookeeper 將控制從 Server 端讀取資料的大小（outgoingBuffer）；而在服務端設定后，則是控制從 Client 端寫入資料的大小（incomingBuffer）

相關代碼如下：

protected final ByteBuffer lenBuffer = ByteBuffer.allocateDirect(4);
protected ByteBuffer incomingBuffer = lenBuffer;

protected void readLength() throws IOException {
    int len = incomingBuffer.getInt();
    if (len < 0 || len >= ClientCnxn.packetLen) {
        throw new IOException("Packet len" + len + " is out of range!");
    }
    incomingBuffer = ByteBuffer.allocate(len);
}

public static final int packetLen = Integer.getInteger("jute.maxbuffer", 4096 * 1024);

那為什么會讀取這么大一個包呢？基于上文提到的關鍵字/hbase/region-in-transition（待分配region資訊）及Region的規模（120000+），我們猜測是因為Region太多了，導致/hbase/region-in-transition節點太大，HMaster讀取該節點資料時超出限制并以失敗告終，我們也在HBase Jira庫找到了相關issue：
Cluster with too many regions cannot withstand some master failover scenarios
https://issues.apache.org/jira/browse/HBASE-4246

我們很多時候都不是第一個濕鞋的人，也許你今天幫別人解決的問題，就是你明天可能遇到的答案，這也是老店開設問答專欄《讀者來信》的初心--為了知識更好的傳播與分享！

小猿解答

當然也不只/region-in-transition節點會有這樣的問題，/unssigned 等節點也可能會有一樣的問題，解決方案總結如下：
方案一：清理zk節點歷史上存在的垃圾資料

該方案旨在將zk節點的資料大小降下來，是否可以降到紅線以下，

方案二：調大引數jute.maxbuffer

# 設定 Client 端
$ vim $ZOOKEEPER_HOME/bin/zkCli.sh
  # 增加 -Djute.maxbuffer=<buffer_size> 引數
  "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}"  "-Djute.maxbuffer=1073741824"  \
       -cp "$CLASSPATH" $CLIENT_JVMFLAGS $JVMFLAGS \
       org.apache.zookeeper.ZooKeeperMain "$@"

# 設定 Server 端
$ vim $ZOOKEEPER_HOME/conf/zoo.cfg
  # 增加 jute.maxbuffer=<buffer_size> 引數
  jute.maxbuffer=1073741824

調大該引數可能有風險，上面也提到zk旨在存盤大小為千位元組的資料，

方案三：使用層次結構（來自社區評論區）

該方案是通過區域ID的前綴將·/hbase/region-in-transition 目錄分片，例如，區域1234567890abcdef將位于/hbase/region-in-transition/1234/1234567890abcdef中，因此，我們必須進行遍歷才能獲得完整串列，

參考文獻

https://issues.apache.org/jira/browse/HBASE-4246
https://cloud.tencent.com/developer/article/1516691
https://yuzhouwan.com/posts/31915/

掃描二維碼關注博主公眾號

轉載請注明出處！歡迎關注本人微信公眾號【HBase作業筆記】

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/19700.html

標籤：大數據

上一篇：【趙強老師】在Spark SQL中讀取JSON檔案

下一篇：讀者來信 | 剛搭完HBase集群，Phoenix一啟動，HBase就全崩了，是什么原因?（已解決）

讀者來信 | 如果你家HBase集群Region太多請點進來看看，這個問題你可能會遇到

來信人：劉*剛

小猿提問

小猿分析

小猿解答

參考文獻