一、Zookeeper定義

• Zookeeper是一個開源的分布式的，為分布式框架提供協調服務的Apache專案，

二、 zookeeper作業機制

• Zookeeper從設計模式角度來理解:是一個基于觀察者模式設計的分布式服務管理框架它負責存盤和管理大家都關心的資料，然后接受觀察者的注冊，一旦這些資料的狀態發生變化，Zookeeper就將負責通知已經在Zookeeper上注冊的那些觀察者做出相應的反應，也就是說 Zookeeper =檔案系統＋通知機制，

三、zookeeper特點

(1)Zookeeper:一個領導者(Leader)，多個跟隨者(Follower）組成的集群，
(2)Zookeepe集群中只要有半數以上節點存活，Zookeeper集群就能正常服務，所以zookeeper適合安裝奇數臺服務器，
(3)全域資料一致:每個server保存一份相同的資料副本，client無論連接到哪個Server，資料都是一致的，
(4)更新請求順序執行，來自同一個client的更新請求按其發送順序依次執行，即先進先出，
(5)資料更新原子性，一次資料更新要么成功，要么失敗，
(6)實時性，在一定時間范圍內，client能讀到最新資料，

四、Zookeeper資料結構

• ZooKeeper資料模型的結構與Linux檔案系統很類似，整體上可以看作是一棵樹，每個節點稱做一個2Node，每一個2Node默認能夠存盤1MB的資料，每個ZNode都可以通過其路徑唯一標識，

五、zookeeper應用場景

提供的服務包括:統一命名服務、統一配置管理、統一集群管理、服務器節點動態上下線、軟負載均衡等，

• 統一命名服務
  在分布式環境下，經常需要對應用/服務進行統一命名，便于識別，例如:IP不容易記住，而域名容易記住，

• 統一配置管理
  (1）分布式環境下，組態檔同步非常常見，一般要求一個集群中，所有節點的配置資訊是一致的，比如Kafka集群，對組態檔修改后，希望能夠快速同步到各個節點上，
  (2）配置管理可交由ZooKeeper實作，可將配置資訊寫入ZooKeeper上的一個Znode，各個客戶端服務器監聽這個Znode，一旦Znode中的資料被修改，ZooKeeper將通知各個客戶端服務器，

• 統一集群管理
  (1）分布式環境中，實時掌握每個節點的狀態是必要的，可根據節點實時狀態做出一些調整，
  (2)ZooKeeper可以實作實時監控節點狀態變化，可將節點資訊寫入ZooKeeper上的一個2Node，監聽這個DMode可獲取它的實時狀態變化，

• 服務器動態上下線
  客戶端能實時洞察到服務器上下線的變化，

• 軟負教均衡
  在Zookeeper中記錄每臺服務器的訪問數，讓訪問數最少的服務器去處理最新的客戶端請求，

六、zookeeper選舉機制

• 第一次啟動選舉機制

(1）服務器1啟動，發起一次選舉，服務器1投自己一票，此時服務器1票數一票，不夠半數以上（3票)，選舉無法完成，服務器1狀態保持為LOOKING;

(2）服務器2啟動，再發起一次選舉，服務器1和2分別投自己一票并交換選票資訊:此時服務器1發現服務器2的myid比自己目前投票推舉的（服務器1)大，更改選票為推舉服務器2，此時服務器1票數0票，服務器2票數2票，沒有半數以上結果，選舉無法完成，服務器1，2狀態保持LOOKING

(3）服務器3啟動，發起一次選舉，此時服務器1和2都會更改選票為服務器3，此次投票結果:服務器1為0票，服務器2為0票，服務器3為3票，此時服務器3的票數已經超過半數，服務器3當選Leader，服務器1，2更改狀態為FOLLOWING，服務器3更改狀態為LEADING;

(4）服務器4啟動，發起一次選舉，此時服務器1，2，3已經不是LooKING狀態，不會更改選票資訊，交換選票資訊結果:服務器3為3票，服務器4為1票，此時服務器4服從多數，更改選票資訊為服務器3，并更改狀態為FOLOWING;

(5） 服務器5啟動，同4一樣當小弟，

• 非第一次啟動選舉機制

(1）當ZooKeeper集群中的一臺服務器出現以下兩種情況之一時，就會開始進入Leader選舉:

1. 服務器初始化啟動，
2. 服務器運行期間無法和Leader保持連接，

(2）而當一臺機器進入Leader選舉流程時，當前集群也可能會處于以下兩種狀態:

1. 集群中本來就己經存在一個Leader，
   對于已經存在Leader的情況，機器試圖去選舉Leader時，會被告知當前服務器的Leader資訊，對于該機器來說，僅僅需要和Leader機器建立連接，并進行狀態同步即可，
2. 集群中確實不存在Leader，
   假設ZooKeeper由5臺服務器組成，SID分別為1、2、3、4、5，ZXID分別為8、8、8、7、，并且此時sID為3的服務器是，一時刻，3和5服務器出現故障，因此開始進行Leader選舉，

選舉Leader規則:

1. EPOCH大的直接勝出
2. EPOCH相同，事務id大的勝出
3. 事務id相同，服務器id大的勝出

SID:服務器ID，用來唯一標識一臺ZooKeeper集群中的機器，每臺機器不能重復，和myid一致，
ZXID:事務ID，ZXID是一個事務ID，用來標識一次服務器狀態的變更，在某一時刻，集群中的每臺機器的zxID值不一定完全一致，這和ZooKeeper服務器對于客戶端"更新請求"的處理邏輯速度有關，
Bpoch:每個Leader任期的代號，沒有Leader時同一輪投票程序中的邏輯時鐘值是相同的，每投完一次票這個資料就會增加

七、部署Zookeeper集群

環境準備作業

必要作業：關閉防火期和SElinux

1. 安裝前準備

//關閉防火墻
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

//安裝 JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

//下載安裝包
官方下載地址：https://archive.apache.org/dist/zookeeper/

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

2. 安裝 Zookeeper

cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7

• 修改組態檔

cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=2000   #通信心跳時間，Zookeeper服務器與客戶端心跳時間，單位毫秒
initLimit=10    #Leader和Follower初始連接時能容忍的最多心跳數（tickTime的數量），這里表示為10*2s
syncLimit=5     #Leader和Follower之間同步通信的超時時間，這里表示如果超過5*2s，Leader認為Follwer死掉，并從服務器串列中洗掉Follwer
dataDir=/usr/local/zookeeper-3.5.7/data      ●修改，指定保存Zookeeper中的資料的目錄，目錄需要單獨創建
dataLogDir=/usr/local/zookeeper-3.5.7/logs   ●添加，指定存放日志的目錄，目錄需要單獨創建
clientPort=2181   #客戶端連接埠

• 添加集群資訊

vim zoo.cfg
------
追加
server.1=192.168.80.50:3188:3288
server.2=192.168.80.60:3188:3288
server.3=192.168.80.70:3188:3288

server.A=B:C:D
- A 是一個數字，表示這個是第幾號服務器，集群模式下需要在zoo.cfg中dataDir指定的目錄下創建一個檔案myid，這個檔案里面有一個資料就是A的值，Zookeeper啟動時讀取此檔案，拿到里面的資料與zoo.cfg里面的配置資訊比較從而判斷到底是哪個server，
- B 是這個服務器的地址，
- C 是這個服務器Follower與集群中的Leader服務器交換資訊的埠，
- D 是萬一集群中的Leader服務器掛了，需要一個埠來重新進行選舉，選出一個新的Leader，而這個埠就是用來執行選舉時服務器相互通信的埠，

• 拷貝配置好的 Zookeeper 組態檔到其他機器上

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.60:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.70:/usr/local/zookeeper-3.5.7/conf/

• 在每個節點上創建資料目錄和日志目錄

mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs

• 在每個節點的dataDir指定的目錄下創建一個 myid 的檔案

echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid

• 配置 Zookeeper 啟動腳本

vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
	echo "---------- zookeeper 啟動 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重啟 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 狀態 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

• 設定開機自啟

chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper

• 分別啟動 Zookeeper

service zookeeper start

• 查看當前狀態

service zookeeper status

總結：

1. 集群最少要幾臺機器，集群規則是怎樣的？集群中有 3 臺服務器，其中一個節點宕機，這個時候 Zookeeper 還可以使用嗎？

集群規則為 2N+1 臺，N>0，即 3 臺，可以繼續使用，單數服務器只要沒超過一半的服務器宕機就可以繼續使用，

2. Zookeeper 都有哪些功能？

• 集群管理：監控節點存活狀態、運行請求等；

• 主節點選舉：主節點掛掉了之后可以從備用的節點開始新一輪選主，主節點選舉說的就是這個選舉的程序，使用 Zookeeper可以協助完成這個程序；

• 分布式鎖：Zookeeper
  提供兩種鎖：獨占鎖、共享鎖，獨占鎖即一次只能有一個執行緒使用資源，共享鎖是讀鎖共享，讀寫互斥，即可以有多線執行緒同時讀同一個資源，如果要使用寫鎖也只能有一個執行緒使用，Zookeeper可以對分布式鎖進行控制，

• 命名服務：在分布式系統中，通過使用命名服務，客戶端應用能夠根據指定名字來獲取資源或服務的地址，提供者等資訊，

3. zookeeper 節點宕機如何處理？

• Zookeeper 本身也是集群，推薦配置不少于 3 個服務器，Zookeeper 自身也要保證當一個節點宕機時，其他節點會繼續提供服務，

• 如果是一個 Follower 宕機，還有 2 臺服務器提供訪問，因為 Zookeeper 上的資料是有多個副本的，資料并不會丟失；

• 如果是一個 Leader 宕機，Zookeeper 會選舉出新的 Leader，

• ZK 集群的機制是只要超過半數的節點正常，集群就能正常提供服務，只有在 ZK節點掛得太多，只剩一半或不到一半節點能作業，集群才失效，

所以

• 3 個節點的 cluster 可以掛掉 1 個節點(leader 可以得到 2 票>1.5)

• 2 個節點的 cluster 就不能掛掉任何 1 個節點了(leader 可以得到 1 票<=1)

4. ZooKeeper 本身就是一個分布式程式（只要半數以上節點存活，ZooKeeper 就能正常服務），

5. ZooKeeper 將資料保存在記憶體中，這也就保證了 高吞吐量和低延遲（但是記憶體限制了能夠存盤的容量不太大，此限制也是保持 Znode 中存盤的資料量較小的進一步原因），

6. ZooKeeper 底層其實只提供了兩個功能：①管理（存盤、讀取）用戶程式提交的資料；②為用戶程式提交資料節點監聽服務，