主頁 >  其他 > Raft協議及偽碼決議

Raft協議及偽碼決議

2023-04-06 07:26:24 其他

目錄
  • 節點的狀態轉換
    • follower
    • candidate
    • leader
  • 偽碼部分
    • 節點初始化(Initialazation)
    • 選舉時其他節點的視角
    • 回到candidate選舉時的視角
    • 訊息如何廣播復制
    • 重要的反復出現的ReplicateLog
    • 節點收到了LogRequest
    • 節點如何追加logAppendentries
    • 再次回到leader, 如何處理LogResponse
    • leader提交logCommitlogentries

跟著Martin大神學習Raft協議,帶上講解和偽碼確實給人深入淺出的感覺,英音聽起來十分優雅,也是一種享受了~
視頻地址:Distributed Systems 6.2: Raft
整篇主要包括了十張Slide:

節點的狀態轉換

首先需要明確,節點只有三種狀態:

  • follower
  • candidate
  • leader

follower

當一個節點剛啟動的時候,或者剛從崩潰中恢復,它只會變成follower,等待來自其他節點的訊息

candidate

follower有一段時間沒有接收到來自leader或者candidate的訊息,它會開始懷疑leader已經掉線,于是準備開始發起選舉,推舉自己變成leader

這段時間對于每個節點是隨機設定的,否則所有節點剛啟動的時候都會在同一時間發起選舉,

如何選舉?

概括一下:

  1. candidate會增加自己的term,然后邀請其他節點進行投票,
  2. 如果candidate接收到比自己更高的term(可能來自于leader或者其他candidate),那么它會重新變成follower
  3. 如果candidate收到足夠多的投票,那么它會變成leader

下文都會使用quorum(合法的法定人數)來表示足夠多的投票,表示過半數以上的節點,

  1. 如果candidate沒有在計時器(timer)時間范圍內獲得quorum票數的話,選舉超時,它會再次增加term,發起投票邀請,再次進入選舉,

leader

當選了leader后,一般情況下會一直保持這個狀態,除非:

  1. leader掉線了,那么它再次上線回重新變成follower
  2. 它接受到了來自其他節點發送的訊息,而他們的term比它更高,那么它也會變成follower

這種情況可能是由于網路磁區導致其他節點無法與它連接,認為它已經掉線而重新進行了選舉,

偽碼部分

節點初始化(Initialazation)


初始化中需要注意的變數有:
需要持久化的四個變數(他們的值不能因為節點崩潰而丟失)

  • currentTerm:節點當前處在的term
  • voteFor:節點把票投給的節點ID
  • log:可以認為是一個陣列,每一個值entry包含了msgterm值,msg表示需要向其他節點廣播復制的訊息,而term表示該條訊息所處的term的值,log通過追加新entry的方式進行增長,如果某條entry已經被quorum數量的節點復制成功,那么這條entry可以被commit,即被提交,
  • commitLength:已經被提交的長度
    其他變數可以因為節點崩潰在恢復時被重置,同時假設,每個節點擁有唯一的IDnodes變數保存了所有節點的ID,系統中的節點數量發生變化不在討論的范疇之內,

前面提到,當follower發現不能與leader進行通信時,會使自己的currentTerm+1,然后將自己設定為candidate,發起選舉,與此同時,它會將票投給自己,因此votedFor的值設定為自己的IDvotesReceived集合中也添加了自己的ID,并且初始化lastTerm

lastTerm代表節點本地log的最后一條entryterm值,

candidate將構造好的投票資訊msg(由nodeId, currentTerm, log.length, lastTerm組成)發送給其他節點,開啟計時器,進行選舉,

選舉時其他節點的視角


當其他節點收到了投票請求后,會首先對自身的currentTermcandidate發送過來的currentTerm(用cTerm替代)進行比較:

  1. 如果自身currentTerm小于cTerm,那么自己變成follower,更改自己的currentTerm變成cTerm
  2. 如果自身存在log,取出自己最新接收到的entryterm值作為自己的lastTerm
  3. logOk的值當candidate發來的lastTerm(用cLogTerm代替) > lastTerm(candidate的最新的logterm比自己大)或者cLogTerm=lastTerm 但是candidate.log.length >= log.length(candidate雖然與當前node中的最新logterm值相同,但是candidate擁有很多msg)true

由3可見,logOktrue的前提是,candidate擁有更新更多的log

  1. 當且僅當currentTerm接受了candidatecTerm,并且candidate擁有最新的log(logOktrue),且沒有給其他candidate投票的情況下,可以將自身的voteFor的值設定為candidateID值,這種情況下,表示準備將票投給candidate,發送一條grantedtrueVoteResponse(由當前節點ID-nodeId, currentTerm, 是否投票給它的granted)訊息回傳給它,否則,回傳一條grantedfalseVoteResponse訊息,

回到candidate選舉時的視角


candidate收到來自其他節點的回復時,判斷:

  1. 如果自己仍然還是candidate,并且其他節點的term與自己的一致,也同意投票給自己,將這個節點添加至自己的votesReceived集合中(發起投票時,里面最初只有自己投給自己),
  2. 判斷votesReceived中節點的數量是否已經過半,如果已經過半了,那么將自己設定為leadercurrentLeader的值為自己的節點ID,并且取消計時器,遍歷nodes集合中的所有node,更改sentLengthackLength欄位,執行ReplicateLog函式,

sentLengthackLength都可以看做是一個mapkeyfollowernodeIdvalue是一個數值,代表長度,前者代表leader已經發送給某個followerlog長度,后者代表該follower已經確認收到的長度,顯然,當sentLength的值設定為log.length,表明leader假設follower已經擁有和leader一樣多的log,雖然這個假設可能是錯的,但是我們會在后面進行修正,
ReplicateLog也會在后面進行解釋,

  1. 如果節點的term大于自身的currentTerm,表明有比自己更高term的節點存在,那么自己重新變成follower,并且更改自己的currentTerm為那個更高的term,取消定時器,終止選舉,

訊息如何廣播復制


當應用發送訊息給集群時,訊息是如何被保存提交的?

  1. 如果leader接收了訊息,那么它可以將訊息直接保存到自己的log中,然后修改自己的ackedLength,再遍歷follower呼叫ReplicatedLog進行復制,
  2. 如果是follower接收到了訊息,那么它需要通過FIFO佇列,將這個請求發送給leader進行處理,
    與此同時,leader會周期性地向follower復制訊息,即使沒有新的訊息需要進行廣播,這樣不僅可以充當與其他節點之間的心跳鏈接,也可以當做復制給某個follower失敗時的重傳,

重要的反復出現的ReplicateLog


在這里,sentLength派上了用場,利用sentLengthlog分割成兩個部分:

  • prefixLen:已經發送給followerlog長度
  • suffix: 需要發送給followerlogentry串列,

如果prefixLen = log.length,那么suffix為空,代表沒有新資料要發送給follower
leader構造了一個LogRequest,包括自身的ID, currentTermprefixLen, prefixTerm(已經發送給followerlog的最后一個值log[prefixLen-1]的term), commitLength, suffix發送給follower

節點收到了LogRequest


這時有兩種情況:

  1. 節點可能正在處于candidate狀態,如果接收到的term值大于currentTerm,那么它會取消選舉,將自己變成follower,并設定leader,否則的話,回傳一條接收失敗的LogResponse給發送者,
  2. 節點是個普通的follower
    如果節點的狀態是follower,那么需要判斷logOk,這個值當且僅當當前節點的log長度大于等于prefixLen(當前節點的log不能小于leader認為的已經發送的長度,否則存在log的丟失),以及如果存在prefixLen,那么leader端的prefixTerm應當與當前節點的最新logterm一致,

Raft保證,如果兩個節點的log在同樣的index包含同樣的term,那么他們在該index以及之前的log都是相同的,

如果節點的termleader一致,并且logOktrue,那么節點將會執行Appendentries,并且更改自己的ackprefixLen+suffix.length,作為LogResponse的一部分回傳,

節點如何追加logAppendentries


follower需要判斷的是,是否已經包含了這個訊息,

  1. 如果followerlog長度大于prefixLen,并且suffix的長度不為空,意味著follower中的log可能包含了以前leader的訊息,于是需要找到他們重疊位置的index
    根據這個index的值,判斷當前logtermsuffix對應的term,如果不相等,意味著需要對當前的log進行截斷,即丟棄prefixLen之后的log

為什么能在這個地方截斷?因為進入Appendentries的前提是logOk已經為true,此時已經保證prefixLen之前的term已經一致,

  1. suffix的值追加到log
  2. 如果commitLength小于leadercommit的值,那么將自己沒有提交的log發送給應用,然后增加自己的commitLength

再次回到leader, 如何處理LogResponse

  1. 如果leader發現回傳的term大于自身的term,那么說明有新的leader,所以自身變為follower
  2. 否則,它會檢查其他節點是否已經成功接收訊息并且ack長度大于原來所記載的長度,
    2.1 如果是,那么更新sentLengthackLength,并且執行Commitlogentries
    2.2 successfalse,表明sentLength需要進行修正,然后重新執行Replicatelog

logOk不為true,可能是因為prefixLen >= log.length,也可能是因為prefixTerm != log[prefixLen-1].term

leader提交logCommitlogentries


leader遍歷所有的log,將有超過半數以上被接收的entry,認為是已經readylog
找到最大下標的log,如果term與當前一直,意味著已經可以被認為commitlog長度增加了,并且這些訊息已經被過半節點存盤,可以發送給應用了,

總結:

  1. 每一個節點在收到比自己高的term時,會變成follower
  2. leader復制到其他節點時,發送LogRequest,其他節點回傳LogResponse,用來標識是否已經成功復制,
  3. leader根據是否有過半的成功LogResponse來判斷訊息是否能夠最終commit

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/549235.html

標籤:其他

上一篇:Linux運維實戰:Centos7.6部署wingftpserver

下一篇:如何在Solidity中建立DAO(去中心化自治組織)?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more