主頁 > 後端開發 > 6000字|22張圖 帶你徹底弄懂Zookeeper分布式鎖

6000字|22張圖 帶你徹底弄懂Zookeeper分布式鎖

2022-06-15 13:16:42 後端開發

 

 

前面我們剖析了Redisson的原始碼,主要分析了Redisson實作Redis分布式鎖的15問,理清了Redisson是如何實作的分布式鎖和一些其它的特性,這篇文章就來接著剖析Zookeeper分布式鎖的實作框架Curator的原始碼,看看Curator是如何實作Zookeeper分布式鎖的,以及它提供的哪些其它的特性,

Curator框架是封裝對于zk操作的api,其中就包括了對分布式鎖的實作,當然Curator框架也包括其它的功能,分布式鎖只是Curator的一部分功能,

本文的目錄跟Redisson文章的目錄比較相似,主要是為了方便大家對比redis和zk分布式鎖的實作,如需要Redisson原始碼剖析的文章,請關注微信公眾號 三友的java日記,回復 Redisson 即可,

一、ZK分布式鎖實作原理

實作Zookeeper分布式鎖,主要是基于Zookeeper的臨時順序節點來實作的,

當客戶端來加鎖的時候,會先在加鎖的節點下建立一個子節點,這個節點就有一個序號,類似 lock-000001 ,創建成功之后會回傳給客戶端所創建的節點,然后客戶端會去獲取這個加鎖節點下的所有客戶端創建的子節點,當然也包括自己創建的子節點,拿到所有節點之后,給這些節點進行排序,然后判斷自己創建的節點在這些節點中是否排在第一位,如果是的話,那么就代表當前客戶端就算加鎖成功了,如果不是的話,那么就代表當前客戶端加鎖失敗,

加鎖失敗的節點并不會不停地回圈去嘗試加鎖,而是在自己創建節點的前一個節點上加一個監聽器,然后就進行等待,當前面一個節點釋放了鎖,就會反過來通知等待的客戶端,然后客戶端就加鎖成功了,

為什么需要在前一個節點加個監聽器?

假設有很多客戶端來加鎖,然后加鎖失敗的都對前一個節點加一個監聽,那么一旦第一個加鎖成功的客戶端執行緒釋放了鎖,那么被喚醒的就是第二個客戶端執行緒,第二個客戶端執行緒就會加鎖成功,執行完任務之后就釋放了鎖,那么就會喚醒第三個客戶端執行緒,第三個客戶端執行緒加鎖成功,執行完任務之后就釋放了鎖,喚醒第四個客戶端執行緒,以此類推,所以每次釋放鎖都會喚醒下一個節點,這樣每個加鎖的執行緒都會加鎖成功,所以監聽器的作用是喚醒加鎖失敗阻塞等待的客戶端,

二、為什么使用臨時順序節點

下面介紹一下臨時節點、持久化節點、順序節點的特性, 

1)臨時節點

臨時節點,指的是節點創建后,如果創建節點的客戶端和 Zookeeper 服務端的會話失效(例如斷開連接),那么節點就會被洗掉,

2)持久化節點

持久化節點指的是節點創建后,即使創建節點的客戶端和 Zookeeper 服務端的會話失效(例如斷開連接),節點也不會被洗掉,只有客戶端主動發起洗掉節點的請求,節點才會被洗掉,

3)有序節點

有序節點,這種節點在創建時會有一個序號,這個序號是自增的,有序節點既可以是有序臨時節點,也可以是有序持久化節點,

從上面節點的特性可以知道,臨時節點相比持久節點,最主要的是對會話失效的情況處理不一樣,如果使用臨時節點的話,如果客戶端發生例外的話,沒有來得及主動釋放鎖,就能避免鎖無法釋放導致死鎖的情況,因為一旦客戶端例外,那么客戶端和服務端之間的會話就會失效,然后臨時節點就會被洗掉,這樣就釋放了鎖;而持久化節點在由于會話失效無法被洗掉,那么就不會去釋放鎖,這樣就會產生死鎖的問題,

從這里可以看出redis和zk防止死鎖的實作是不同的,redis是通過過期時間來防止死鎖,而zk是通過臨時節點來防止死鎖的,

為什么使用順序節點?其實為了防止羊群效應,如果沒有使用順序節點,假設很多客戶端都會去加鎖,那么加鎖就會都失敗,都會對加鎖的節點加個監聽器,那么一旦鎖釋放,那么所有的加鎖客戶端都會被喚醒來加鎖,那么一瞬間就會造成很多加鎖的請求,增加服務端的壓力,

所以綜上,臨時順序節點是個比較好的選擇,

三、加鎖的邏輯是如何實作的 

前面關于ZK分布式鎖實作原理已經說過了,接下來就來看一下代碼的實作,

加鎖的使用方法如下,接下來幾節會著重講解這段代碼背后的邏輯

圖片

 acquire方法的實作 

圖片

 acquire方法會去呼叫internalLock方法,傳入超時時間 -1 和單位 null,也就代表了如果加鎖不成功會一直阻塞直至加鎖成功,不會超時,

圖片

internalLock方法會先去獲取當前執行緒,然后從threadData中獲取當前執行緒對應的LockData,這里面封裝了加鎖的資訊和次數,是實作可重入鎖的關鍵,當然第一次加鎖這里肯定是沒有的,會繼續下走 internals.attemptLock 加鎖,

attemptLock方法

圖片

 先通過driver的createsTheLock去創建節點,

圖片

 從這里看出,創建的節點型別是臨時順序節點,創建成功之后,就會回傳當前創建的節點,

節點創建成功之后,會呼叫internalLockLoop方法來加鎖,

圖片

 通過getSortedChildren方法獲取排好序的子節點,然后獲取當前的節點名稱,再通過 driver.getsTheLock判斷當前的節點有沒有加鎖成功,回傳一個PredicateResults判斷的結果,這里面存的就是否加鎖成功的資訊, 

第一次加鎖,那么到這里就加鎖成功了,之后就會封裝一個LockData物件,放入threadData 的map中,

加鎖的流程如下圖:

 

圖片

四、如何實作可重入加鎖 

上文加鎖的時候提到了,當第一次加鎖成功之后,會往threadData放入該加鎖的執行緒對應的LockData, 

圖片

LockData主要封裝了當前執行緒、加鎖的次數、加鎖的節點, 

此時如果第二次來加鎖,那么就會從threadData中獲取到加鎖的資訊,然后將加鎖次數加1,就代表了加鎖成功,然后直接回傳,

圖片

所以可重入加鎖的實作很簡單,就是在客戶端中判斷有沒有加過鎖,加過的話就將加鎖次數累加1,壓根就跟服務端沒有互動,

注意Redisson可重入加鎖的實作跟的Curator是不一樣的,Redisson的加鎖次數是存在Redis的服務端的,而Curator是存在客戶端的,

 

圖片

 五、加鎖失敗之后如何實作阻塞等待加鎖

前面加鎖的邏輯主要是說了加鎖成功的情況,這里就來說一下加鎖失敗的情況,

繼續來看internalLockLoop方法,

圖片

 前面說過,判斷有沒有加鎖成功,會回傳一個PredicateResults,這里面包含了有沒有加鎖成功的資訊,同時如果沒有加鎖成功,就會回傳需要監聽的節點,也就是當前創建的節點的前一個節點,

所以沒有加鎖成功,就會走else的邏輯,對上一個節點加一個監聽器 watcher

圖片

 然后就會呼叫 wait 方法,進行等待,

圖片

 當前一個節點被洗掉了,也就是釋放了鎖,那么就會回呼這個監聽器watcher的方法,

圖片

 

圖片

所以,這個watcher的作用就是呼叫notifyAll方法喚醒呼叫wait方法的執行緒,這樣執行緒就會繼續嘗試加鎖,因為是在一個while的回圈中, 

六、如何實作阻塞等待一定時間還未加鎖成功就放棄加鎖

可通過下面這個方法來實作實作阻塞等待一定時間還未加鎖成功就放棄加鎖,

boolean acquire(long time, TimeUnit unit) throws Exception 

這個方法相比不指定等待時間的方法最主要的區別就是加鎖失敗之后,呼叫的阻塞的方法不一樣,當不指定超時時間就會呼叫wait()方法,不會傳入等待時間,不被喚醒就會一直阻塞;指定超時時間的時候,就會呼叫wait(long timeout)指定等待的時間,這樣如果等待時間一到,執行緒就會醒過來,然后再次嘗試加鎖,一旦加鎖失敗,就會放棄加鎖,

圖片

七、如何主動釋放鎖和避免其它執行緒釋放鎖 

釋放鎖release方法 

圖片

釋放鎖其實很簡單,就是拿出當前執行緒對應的LockData,如果沒有,就說明當前執行緒沒有加過鎖,就會拋出例外,所以Curator就是通過這個判斷來防止其它執行緒釋放了自己執行緒加的鎖, 

如果加鎖了,那么LockData就不會為null,然后將加鎖次數遞減1,得到newLockCount,代表了剩下的加鎖次數,

  • 如果newLockCount > 0,說明鎖沒釋放完,有可重入加鎖,然后什么事都不干,直接回傳了,

  • 如果newLockCount < 0,就拋例外,但是一般不會出現,

  • 剩下的一種情況就是newLockCount == 0 ,說明鎖已經完完全全釋放完了,然后通過internals.releaseLock洗掉加鎖的節點, 

服務端洗掉節點之后,就會通知監聽該節點的客戶端,然后客戶端就會回呼watcher監聽器,喚醒阻塞等待的執行緒,執行緒被喚醒后再進行一次判斷就能加鎖成功,

到這里,就講完了加鎖和釋放鎖的程序,整個加鎖和釋放鎖的程序就如下圖所示,

八、如何實作公平鎖

其實使用臨時順序節點實作的分布式鎖就是公平鎖,所謂的公平鎖就是加鎖的順序跟成功加鎖的順序是一樣的,

因為節點的順序就是被喚醒的順序,所以也就是加鎖的順序,所以天生就是公平鎖,

九、如何實作讀寫鎖 

讀寫鎖使用如下, 

圖片

創建節點的時候,節點的內容中會有一個標記來代表當前節點加的是什么型別的鎖,

圖片

當需要加寫鎖時,需要判斷自己創建的節點是否排在第一位,如果是就能加鎖成功,所以一旦前面有節點,不論前面加是讀鎖還是寫鎖,那么都是加鎖失敗,實作了讀寫互斥和寫寫互斥,當然寫鎖和讀鎖都是可以重入加鎖的, 

當需要加讀鎖的時候,會去判斷自己創建節點的前面有沒有寫鎖,如果沒寫鎖,那么說明前面加的都是讀鎖,那么讀鎖就能加鎖成功,讀讀不互斥,如果前面有寫鎖,那么就加鎖失敗(自己加的寫鎖除外),讀寫互斥,

十、如何實作批量加鎖

批量加鎖的意思就是同時加幾個鎖,只有這些鎖都算加成功了,才是真正的加鎖成功, 

Redisson也實作了批量加鎖的功能,Redisson的實作通過RedissonMultiLock類實作的,RedissonMultiLock會去遍歷需要加的鎖,然后每個都加成功之后才算加鎖成功,Curator是封裝了InterProcessMultiLock類來實作的批量加鎖的,那么InterProcessMultiLock如何實作的呢? 

使用代碼如下,

圖片

 InterProcessMultiLock的acquire的方法實作,

圖片

從這里可以看出,InterProcessMultiLock也是遍歷傳入的鎖,然后每個鎖都加鎖成功了,InterProcessMultiLock才算加鎖成功, 

所以從這里可以看出,跟Redisson實作的批量加鎖的實作思想上基本是一樣的,都是遍歷加鎖,

十一、ZK分布式鎖和Redis分布式鎖到底該選誰

這是一個比較常見的面試題,

redis分布式鎖:

  • 優點:性能高,能保證AP,保證其高可用,

  • 缺點:正如Redisson的那篇文章所言,主要是如果出現主節點宕機,從節點還未來得及同步主節點的加鎖資訊,可能會導致重復加鎖,雖然Redis官網提供了RedLock演算法來解決這個問題,Redisson也實作了,但是RedLock演算法其實本身是有一定的爭議的,有大佬質疑該演算法的可靠性;同時因為需要的機器過多,也會浪費資源,所以RedLock也不推薦使用,

zk分布式鎖:

  • 優點:zk本身其實就是CP的,能夠保證加鎖資料的一致性,每個節點的創建都會同時寫入leader和follwer節點,半數以上寫入成功才回傳,如果leader節點掛了之后選舉的流程會優先選舉zxid(事務Id)最大的節點,就是選資料最全的,又因為半數寫入的機制這樣就不會導致丟資料

  • 缺點:性能沒有redis高 

所以通過上面的對比可以看出,redis分布式鎖和zk分布式鎖的側重點是不同的,這是redis和zk本身的定位決定的,redis分布式鎖側重高性能,zk分布式鎖側重高可靠性,所以一般專案中redis分布式鎖和zk分布式鎖的選擇,是基于業務來決定的,如果你的業務需要保證加鎖的可靠性,不能出錯,那么zk分布式鎖就比較符合你的要求;如果你的業務對于加鎖的可靠性沒有那么高的要求,那么redis分布式鎖是個不錯的選擇,

最后,希望通過這兩篇文章,讓大家對于zookeeper分布式鎖和redis分布式鎖的實作有個更好的認識,如需要Redisson原始碼剖析的文章,請關注微信公眾號 三友的java日記,回復 Redisson 即可,

 

往期熱門文章推薦

  • 有關回圈依賴和三級快取的這些問題,你都會么?(面試常問)

  • 萬字+28張圖帶你探秘小而美的規則引擎框架LiteFlow

  • 7000字+24張圖帶你徹底弄懂執行緒池

  • 【SpringCloud原理】OpenFeign原來是這么基于Ribbon來實作負載均衡的

  • 【SpringCloud原理】Ribbon核心組件以及運行原理原始碼剖析

  • 【SpringCloud原理】OpenFeign之FeignClient動態代理生成原理

掃碼或者搜索關注公眾號 三友的java日記 ,及時干貨不錯過,公眾號致力于通過畫圖加上通俗易懂的語言講解技術,讓技術更加容易學習, 

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/491086.html

標籤:Java

上一篇:mybatis foreach的用法簡介說明

下一篇:iOS15.4.0ShareSheet_activityImage不支持行程外活動的代理

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more