Zookeeper 資料結構詳解-有解無憂

Zookeeper

https://zookeeper.apache.org/doc/current/zookeeperOver.html

ZooKeeper is a distributed, open-source coordination service for distributed applications.
It exposes a simple set of primitives that distributed applications can build upon to implement higher level services for synchronization, configuration maintenance, and groups and naming.

It is designed to be easy to program to, and uses a data model styled after the familiar directory tree structure of file systems.

Zookeeper是高性能，高可用，嚴格有序的分布式協調服務，提供了統一配置（configuration），命名（naming），同步（synchronization），以及分組服務（group service），

同時，Zookeeper本身支持復制集群，實體間是兩兩連接的，維護記憶體中的資料狀態，并持久存盤中的事務日志和快照，只要大多數服務器可用，ZooKeeper服務將可用，
在“讀為主”的作業負載中，它特別快，ZooKeeper應用程式可在數千臺計算機上運行，并且在讀取比寫入更為常見的情況下，其性能最佳，比率約為10：1，

Zookeeper 保證的特性

順序一致性（Sequential Consistency）：來自客戶端的更新將按照其發送順序進行執行，
原子性（Atomicity）：更新成功或失敗，沒有中間狀態的結果，
統一視圖（Single System Image）：無論客戶端連接到哪個服務器，客戶端都將看到相同服務的資料視圖，
可靠性（Reliability）：一旦資料更新被執行了，它將從那時起持續到客戶端覆寫更新，
及時性（Timeliness）：確保系統的客戶視圖在特定時間范圍內是最新的，

Zookeeper的資料結構

ZooKeeper提供的名稱空間與標準檔案系統的名稱空間非常相似，

file

名稱是由斜杠（/）分隔的一系列路徑元素，ZooKeeper命名空間中的每個節點都由路徑進行唯一標識，

ZooKeeper的層次命名空間

與標準檔案系統不同，ZooKeeper命名空間中的每個節點都可以具有與其關聯的資料以及子節點，就像擁有一個檔案系統一樣，該檔案系統也允許檔案成為目錄，
每一個節點都可以存盤資料，只是需要注意的是存盤的容量是有限，一般不能超過 1MiB，

Znode 型別

Znode的型別分為三類：
- 持久節點（persistent node）節點會被持久
- 臨時節點（ephemeral node），客戶端斷開連接后，ZooKeeper會自動洗掉臨時節點
- 順序節點（sequential node），每次創建順序節點時，ZooKeeper都會在路徑后面自動添加上10位的數字，從1開始，最大是2147483647 （2^32-1）
  每個順序節點都有一個單獨的計數器，并且單調遞增的，由Zookeeper的leader實體維護，
Znode實際上有四種形式，默認是persistent，
- PERSISTENT 持久節點：如 create /test/a "hello" ，通過 create <path> <data>引數指定為持久節點
- PERSISTENT_SEQUENTIAL（持久順序節點/s0000000001），通過 create -s <path> <data>引數指定為順序節點
- EPHEMERAL 臨時節點，通過 create -e <path> <data>引數指定為順序節點
- EPHEMERAL_SEQUENTIAL（臨時順序節點/s0000000001），通過 create -s -e <path> <data> 引數指定為臨時及順序節點

file

下面是一些實體：

(1) 創建順序節點

[zk: 127.0.0.1:2281(CONNECTED) 0] create /seq_test/ ""
Created /seq_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -s /seq_test/s "hello"
Created /seq_test/s0000000001
[zk: 127.0.0.1:2281(CONNECTED) 2] create -s /seq_test/s "hello"
Created /seq_test/s0000000002
[zk: 127.0.0.1:2281(CONNECTED) 3] ls /seq_test
[s0000000001, s0000000002]

(2) 創建臨時節點

[zk: 127.0.0.1:2281(CONNECTED) 0] create /ephe_test/ ""
Created /ephe_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -e /ephe_test/e "hello"
Created /ephe_test/e
[zk: 127.0.0.1:2281(CONNECTED) 2] ls /ephe_test
[e]

斷開重新連接

[zk: 127.0.0.1:2281(CONNECTED) 0] ls /ephe_test
[]

(3) 創建臨時順序節點

[zk: 127.0.0.1:2281(CONNECTED) 0] create /ephe_seq_test/ ""
Created /ephe_seq_test
[zk: 127.0.0.1:2281(CONNECTED) 1] create -e -s /ephe_seq_test/s "hello"
Created /ephe_seq_test/s0000000001
[zk: 127.0.0.1:2281(CONNECTED) 2] ls /ephe_seq_test
[s0000000001]

Zxid（`ZooKeeper Transaction Id`）

file

每次的變化都會產生一個集群全域的唯一的事務id， Zxid（ZooKeeper Transaction Id），由Zookeeper的leader實體維護，
這里的變化包括：

任何的客戶端連接到Server
任何的客戶端斷開與Server連接
任何的Znode節點被創建create、修改set、洗掉delete，rmr

Zxid是一個64位的數字，高32位表示紀元，從1開始，每次選舉出一個新的leader,就會遞增1；低32位是當前紀元維護的單調遞增的數字，同樣從1開始，

Znode 屬性

file

cZxid ：創建的事務標識，
ctime：創建的時間戳
mZxid：修改的事務標識，每次修改操作（set）后都會更新mZxid和mtime，
mtime：修改的時間戳
pZxid：直接子節點最后更新的事務標識，子節點有變化（創建create、修改set、洗掉delete，rmr）時，都會更新pZxid，
cversion ：直接子節點的版本號，當子節點有變化（創建create、修改set、洗掉delete，rmr）時，cversion 的值就會增加1，
dataVersion ：節點資料的版本號，每次對節點進行修改操作（set）后，dataVersion的值都會增加1（即使設定的是相同的資料），
aclVersion ：節點ACL的版本號，每次節點的ACL進行變化時，aclVersion 的值就會增加1，
ephemeralOwner：當前節點是臨時節點（ephemeral node ）時，這個ephemeralOwner的值是客戶端持有的session id，
dataLength：節點存盤的資料長度，單位為 B （位元組），
numChildren：直接子節點的個數，

? zkCli.sh -server 127.0.0.1:2281
[zk: 127.0.0.1:2281(CONNECTED) 0] get /

cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

默認根節點 / 和 /zookeeper 是存在，因此 cZxid 是 0x0，

[zk: 127.0.0.1:2281(CONNECTED) 1] ls /
[zookeeper]
[zk: 127.0.0.1:2281(CONNECTED) 2] create /test "hello"
Created /test
[zk: 127.0.0.1:2281(CONNECTED) 3] ls /
[zookeeper, test]

當創建了一個 /test 節點后，根節點的子節點就多出來了，

[zk: 127.0.0.1:2281(CONNECTED) 4] get /test
hello
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000002
mtime = Sat May 23 15:43:10 CST 2020
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0

為什么cZxid 高32位是 0x1 表明了當前紀元為第一代，低32位是00000002 表明了當前紀元第2筆事務操作創建了 /test 節點，
為什么是2呢？因為我們是通過 zkCli.sh 客戶端連接到Server的，這里會消耗一次 Zxid，

[zk: 127.0.0.1:2281(CONNECTED) 5] set /test "hello world"
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000003
mtime = Sat May 23 15:43:41 CST 2020
pZxid = 0x100000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 0

修改 /test 節點資料，mZxid ，mtime和 dataVersion發生了變化， dataLength 變為了（ "hello world"占用了11個位元組），

[zk: 127.0.0.1:2281(CONNECTED) 6] create /test/a ""   
Created /test/a
[zk: 127.0.0.1:2281(CONNECTED) 7] get /test              
hello world
cZxid = 0x100000002
ctime = Sat May 23 15:43:10 CST 2020
mZxid = 0x100000003
mtime = Sat May 23 15:43:41 CST 2020
pZxid = 0x100000004
cversion = 1
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 11
numChildren = 1

創建子節點 /test/a，我們查看 /test 節點屬性，發現 pZxid，cversion, numChildren 都發生了變化，

[zk: 127.0.0.1:2281(CONNECTED) 8] get /test/a

cZxid = 0x100000004
ctime = Sat May 23 15:44:12 CST 2020
mZxid = 0x100000004
mtime = Sat May 23 15:44:12 CST 2020
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

查看 /test/a 節點屬性，發現 cZxid 與父節點的 pZxid 是一致的，證實了 pZxid是直接子節點最后更新的事務標識，

Znode的監視（Watch）

ZooKeeper支持 Watch，客戶端可以在znode上設定 Watch，

znode更改時，將觸發并洗掉監視，觸發監視后，客戶端會收到一個資料包，說明znode已更改，

如果客戶端與其中一個ZooKeeper服務器之間的連接斷開，則客戶端將收到本地通知，

3.6.0中的新增功能：

客戶端還可以在znode上設定永久性的遞回監視，這些監視在觸發時不會洗掉，并且會以遞回方式觸發注冊znode以及所有子znode的更改，

支持 Watch的客戶端命令：

stat path [watch]
ls path [watch]
ls2 path [watch]
get path [watch]

[zk: 127.0.0.1:2281(CONNECTED) 3] get /test/d watch

cZxid = 0x100000013
ctime = Sat May 23 16:47:41 CST 2020
mZxid = 0x100000013
mtime = Sat May 23 16:47:41 CST 2020
pZxid = 0x100000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

此時使用另外一個客戶端去更改 /test/d 節點的資料，我們就可以看到原來的客戶端自動收到了一個WATCHER 通知，

[zk: 127.0.0.1:2281(CONNECTED) 4] 
WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/test/d

@SvenAugustus(https://www.flysium.xyz/)
更多請關注微信公眾號【編程不離宗】，專注于分享服務器開發與編程相關的技術干貨：

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/6030.html

標籤：大數據

上一篇：HBase原理 | HBase Region 運行狀態學習

下一篇：Zookeeper 集群角色、原理

Zookeeper 資料結構詳解

Zookeeper

Zookeeper 保證的特性

Zookeeper的資料結構

Znode 型別

Zxid（ZooKeeper Transaction Id）

Znode 屬性

Znode的監視（Watch）

Zxid（`ZooKeeper Transaction Id`）