Zookeeper
1. Zookeeper概述
1.1 概述
Zookeeper是一個開源的分布式的,為分布式應用提供協調服務的Apache專案,
1.2 特點
1)Zookeeper:一個領導者(leader),多個跟隨者(follower)組成的集群,
2)Leader負責進行投票的發起和決議,更新系統狀態,
3)Follower用于接收客戶請求并向客戶端回傳結果,在選舉Leader程序中參與投票,
4)集群中只要有半數以上節點存活,Zookeeper集群就能正常服務,
5)全域資料一致:每個server保存一份相同的資料副本,client無論連接到哪個server,資料都是一致的,
6)更新請求順序進行,來自同一個client的更新請求按其發送順序依次執行,
7)資料更新原子性,一次資料更新要么成功,要么失敗,
8)實時性,在一定時間范圍內,client能讀到最新資料,
1.3 資料結構
ZooKeeper資料模型的結構與Unix檔案系統很類似,整體上可以看作是一棵樹,每個節點稱做一個ZNode,每一個ZNode默認能夠存盤1MB的資料,每個ZNode都可以通過其路徑唯一標識,
資料結構圖
1.4 應用場景
提供的服務包括:統一命名服務、統一配置管理、統一集群管理、服務器節點動態上下線、軟負載均衡等,
1.4.1 統一命名服務
在分布式環境下,經常需要對應用/服務進行統一命名,便于識別不同服務,
(1)類似于域名與ip之間對應關系,ip不容易記住,而域名容易記住,
(2)通過名稱來獲取資源或服務的地址,提供者等資訊,
1.4.2 統一配置管理
1)分布式環境下,組態檔管理和同步是一個常見問題,
(1)一個集群中,所有節點的配置資訊是一致的,比如 Hadoop 集群,
(2)對組態檔修改后,希望能夠快速同步到各個節點上,
2)配置管理可交由ZooKeeper實作,
(1)可將配置資訊寫入ZooKeeper上的一個Znode,
(2)各個節點監聽這個Znode,
(3)一旦Znode中的資料被修改,ZooKeeper將通知各個節點,
1.4.3 統一集群管理
1)分布式環境中,實時掌握每個節點的狀態是必要的,
(1)可根據節點實時狀態做出一些調整,
2)可交由ZooKeeper實作,
(1)可將節點資訊寫入ZooKeeper上的一個Znode,
(2)監聽這個Znode可獲取它的實時狀態變化,
3)典型應用
(1)HBase中Master狀態監控與選舉,
1.4.4 服務器節點動態上下線
客戶端能實時洞察到服務器上下線的變化.
1.4.5 軟負載均衡
負載均衡,英文名稱為Load Balance,其含義就是指將負載(作業任務)進行平衡、分攤到多個操作單元上進行運行,例如FTP服務器、Web服務器、企業核心應用服務器和其它主要任務服務器等,從而協同完成作業任務,
1.5 下載地址
1)官網首頁:
https://zookeeper.apache.org/
2. Zookeeper安裝
2.1. 集群規劃
在hadoop01、hadoop02和hadoop03三個節點上部署Zookeeper,
2.2. 解壓安裝
(1)解壓zookeeper安裝包到/opt/module/目錄下
[root@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
(2)在/opt/module/zookeeper-3.4.10/這個目錄下創建data
mkdir -p data
(3)重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
mv zoo_sample.cfg zoo.cfg
2.3. 配置zoo.cfg檔案
(1)具體配置
dataDir=/opt/module/zookeeper-3.4.10/data
增加如下配置
#######################cluster##########################
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
(2)配置引數解讀
Server.A=B:C:D,
A是一個數字,表示這個是第幾號服務器;
B是這個服務器的ip地址;
C是這個服務器與集群中的Leader服務器交換資訊的埠;
D是萬一集群中的Leader服務器掛了,需要一個埠來重新進行選舉,選出一個新的Leader,而這個埠就是用來執行選舉時服務器相互通信的埠,
集群模式下配置一個檔案myid,這個檔案在dataDir目錄下,這個檔案里面有一個資料就是A的值,Zookeeper啟動時讀取此檔案,拿到里面的資料與zoo.cfg里面的配置資訊比較從而判斷到底是哪個server,
2.4. 集群操作
(1)在/opt/module/zookeeper-3.4.10/data目錄下創建一個myid的檔案
touch myid
添加myid檔案,注意一定要在linux里面創建,在notepad++里面很可能亂碼
(2)編輯myid檔案
vi myid
在檔案中添加與server對應的編號:如1
(3)分發拷貝配置好的zookeeper到其他機器上
(4)分別啟動zookeeper
[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop03 zookeeper-3.4.10]# bin/zkServer.sh start
(5)查看狀態
[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop03 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
2.5. 附zoo.cfg檔案中引數含義
1)tickTime=2000:通信心跳數,Zookeeper服務器心跳時間,單位毫秒
Zookeeper使用的基本時間,服務器之間或客戶端與服務器之間維持心跳的時間間隔,也就是每個tickTime時間就會發送一個心跳,時間單位為毫秒,
它用于心跳機制,并且設定最小的session超時時間為兩倍心跳時間,(session的最小超時時間是2*tickTime)
2)initLimit=10:Leader和Follower初始通信時限
集群中的follower跟隨者服務器與leader領導者服務器之間初始連接時能容忍的最多心跳數(tickTime的數量),用它來限定集群中的Zookeeper服務器連接到Leader的時限,
投票選舉新leader的初始化時間
Follower在啟動程序中,會從Leader同步所有最新資料,然后確定自己能夠對外服務的起始狀態,
Leader允許Follower在initLimit時間內完成這個作業,
3)syncLimit=5:Leader和Follower同步通信時限
集群中Leader與Follower之間的最大回應時間單位,假如回應超過syncLimit * tickTime,Leader認為Follwer死掉,從服務器串列中洗掉Follwer,
在運行程序中,Leader負責與ZK集群中所有機器進行通信,例如通過一些心跳檢測機制,來檢測機器的存活狀態,
如果L發出心跳包在syncLimit之后,還沒有從F那收到回應,那么就認為這個F已經不在線了,
4)dataDir:資料檔案目錄+資料持久化路徑
保存記憶體資料庫快照資訊的位置,如果沒有其他說明,更新的事務日志也保存到資料庫,
5)clientPort=2181:客戶端連接埠
監聽客戶端連接的埠
3. Zookeeper shell客戶端操作
|
命令基本語法 |
功能描述 |
|
help |
顯示所有操作命令 |
|
ls path [watch] |
使用 ls 命令來查看當前znode中所包含的內容 |
|
ls2 path [watch] |
查看當前節點資料并能看到更新次數等資料 |
|
create |
普通創建 -s 含有序列 -e 臨時(重啟或者超時消失) |
|
get path [watch] |
獲得節點的值 |
|
set |
設定節點的具體值 |
|
stat |
查看節點狀態 |
|
delete |
洗掉節點 |
|
rmr |
遞回洗掉節點 |
1)啟動客戶端
[root@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2)顯示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help
3)查看當前znode中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4)查看當前節點資料并能看到更新次數等資料
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5)創建普通節點
[zk: localhost:2181(CONNECTED) 2] create /app1 "hello app1"
Created /app1
[zk: localhost:2181(CONNECTED) 4] create /app1/server101 "192.168.1.101"
Created /app1/server101
6)獲得節點的值
[zk: localhost:2181(CONNECTED) 6] get /app1
hello app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x20000000a
mtime = Mon Jul 17 16:08:35 CST 2017
pZxid = 0x20000000b
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 10
numChildren = 1
[zk: localhost:2181(CONNECTED) 8] get /app1/server101
192.168.1.101
cZxid = 0x20000000b
ctime = Mon Jul 17 16:11:04 CST 2017
mZxid = 0x20000000b
mtime = Mon Jul 17 16:11:04 CST 2017
pZxid = 0x20000000b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0
7)創建短暫節點
[zk: localhost:2181(CONNECTED) 9] create -e /app 8888
(1)在當前客戶端是能查看到的
[zk: localhost:2181(CONNECTED) 10] ls /
[app1, app, zookeeper]
(2)退出當前客戶端然后再重啟客戶端
[zk: localhost:2181(CONNECTED) 12] quit
[root@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
(3)再次查看根目錄下短暫節點已經洗掉
[zk: localhost:2181(CONNECTED) 0] ls /
[app1, zookeeper]
8)創建帶序號的節點
(1)先創建一個普通的根節點app2
[zk: localhost:2181(CONNECTED) 11] create /app2 "app2"
(2)創建帶序號的節點
[zk: localhost:2181(CONNECTED) 13] create -s /app2/aa 888
Created /app2/aa0000000000
[zk: localhost:2181(CONNECTED) 14] create -s /app2/bb 888
Created /app2/bb0000000001
[zk: localhost:2181(CONNECTED) 15] create -s /app2/cc 888
Created /app2/cc0000000002
如果原節點下有1個節點,則再排序時從1開始,以此類推,
[zk: localhost:2181(CONNECTED) 16] create -s /app1/aa 888
Created /app1/aa0000000001
9)修改節點資料值
[zk: localhost:2181(CONNECTED) 2] set /app1 999
10)節點的值變化監聽
(1)在104主機上注冊監聽/app1節點資料變化
[zk: localhost:2181(CONNECTED) 26] get /app1 watch
(2)在103主機上修改/app1節點的資料
[zk: localhost:2181(CONNECTED) 5] set /app1 777
(3)觀察104主機收到資料變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/app1
11)節點的子節點變化監聽(路徑變化)
(1)在02主機上注冊監聽/app1節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /app1 watch
[aa0000000001, server101]
(2)在03主機/app1節點上創建子節點
[zk: localhost:2181(CONNECTED) 6] create /app1/bb 666
Created /app1/bb
(3)觀察02主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/app1
12)洗掉節點
[zk: localhost:2181(CONNECTED) 4] delete /app1/bb
13)遞回洗掉節點
[zk: localhost:2181(CONNECTED) 7] rmr /app2
14)查看節點狀態
[zk: localhost:2181(CONNECTED) 12] stat /app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x200000018
mtime = Mon Jul 17 16:54:38 CST 2017
pZxid = 0x20000001c
cversion = 4
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 2
4. Java API應用
4.1. 創建ZooKeeper客戶端
|
private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zkClient = null;
@Before public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() { @Override public void process(WatchedEvent event) { // 收到事件通知后的回呼函式(用戶的業務邏輯) System.out.println(event.getType() + "--" + event.getPath());
// 再次啟動監聽 try { zkClient.getChildren("/", true); } catch (Exception e) { e.printStackTrace(); } } }); } |
4.2. 創建子節點
|
// 創建子節點 @Test public void create() throws Exception { // 資料的增刪改查 // 引數1:要創建的節點的路徑; 引數2:節點資料 ; 引數3:節點權限 ;引數4:節點的型別 String nodeCreated = zkClient.create("/eclipse", "hello zk".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); } |
4.3. 獲取子節點并監聽
|
// 獲取子節點 @Test public void getChildren() throws Exception { List<String> children = zkClient.getChildren("/", true);
for (String child : children) { System.out.println(child); }
// 延時阻塞 Thread.sleep(Long.MAX_VALUE); } |
4.4. 判斷znode是否存在
|
// 判斷znode是否存在 @Test public void exist() throws Exception { Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist"); } |
5. 案例實戰
5.1. 監聽服務器節點動態上下線案例
1) 需求:某分布式系統中,主節點可以有多臺,可以動態上下線,任意一臺客戶端都能實時感知到主節點服務器的上下線
5.2. 需求分析
5.3. 代碼實作
(1)現在集群上創建/servers節點
[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers
(2)創建工程并匯入依賴
|
<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version> </dependency> |
(3)服務器端代碼
|
import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.ZooDefs.Ids;
public class DistributeServer {
private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 創建到zk的客戶端連接 public void getConnect() throws IOException{
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
} }); }
// 注冊服務器 public void registServer(String hostname) throws Exception{ String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname +" is noline "+ create); }
// 業務功能 public void business(String hostname) throws Exception{ System.out.println(hostname+" is working ...");
Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception { // 獲取zk連接 DistributeServer server = new DistributeServer(); server.getConnect();
// 利用zk連接注冊服務器資訊 server.registServer(args[0]);
// 啟動業務功能 server.business(args[0]); } } |
(4)客戶端代碼
|
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper;
public class DistributeClient { private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers"; private volatile ArrayList<String> serversList = new ArrayList<>();
// 創建到zk的客戶端連接 public void getConnect() throws IOException { zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 再次啟動監聽 try { getServerList(); } catch (Exception e) { e.printStackTrace(); } } }); }
// public void getServerList() throws Exception {
// 獲取服務器子節點資訊,并且對父節點進行監聽 List<String> children = zk.getChildren(parentNode, true); ArrayList<String> servers = new ArrayList<>();
for (String child : children) { byte[] data = https://www.cnblogs.com/linzm14/p/zk.getData(parentNode +"/" + child, false, null);
servers.add(new String(data)); }
// 把servers賦值給成員serverList,已提供給各業務執行緒使用 serversList = servers;
System.out.println(serversList); }
// 業務功能 public void business() throws Exception { System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 獲取zk連接 DistributeClient client = new DistributeClient(); client.getConnect();
// 獲取servers的子節點資訊,從中獲取服務器資訊串列 client.getServerList();
// 業務行程啟動 client.business(); } } |
僅供參考,有錯誤還請指出!
有什么想法,評論區留言,互相指教指教,
覺得不錯的可以點一下右邊的推薦喲
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/288660.html
標籤:Java
