主頁 > 軟體設計 > 圖解分布式之:最終一致性,一致只會遲到,但絕不缺席

圖解分布式之:最終一致性,一致只會遲到,但絕不缺席

2021-01-24 19:05:13 軟體設計

這篇文章我們繼續聊分布式相關的內容,

提到分布式系統,就一定繞不開“一致性”,這次我們說說:最終一致性,

最終一致性是現在大部分高可用的分布式系統的核心思路,

估計有人對最終一致性不太熟,先來個簡單介紹:

最終一致性指的是系統中的所有分散在不同節點的資料,經過一定時間后,最終能夠達到符合業務定義的一致的狀態,

劃重點:

  1. 是資料一致性,不是事務一致性(ACID 是事務一致性);
  2. 存在條件:多個節點/系統;
  3. 不一致可能是暫時的,最終要一致(鬼知道“最終”是多久)

好,正文開始,

莫看江面平如鏡,要看水底萬丈深

最終一致性,一言以蔽之,程序松,結果緊,不管中間程序如何,結果必須符合業務需求,滿足資料一致性的要求,

雖然,在實作中,有各種花樣百出的方案,但是本質的思想都是一樣的,我們現在就來忽略那些亂花迷眼的程序,仔細探討下最終一致性的本質,

何事居窮道不窮,亂時還與凈時同

在我剛入行不久的時候,能力有限,菜鳥一個,只能做一些小的功能模塊,我印象最深的就是訂單模塊,

用戶下單,訂單模塊收到下單請求后,執行對應的訂單業務邏輯,最終,會把訂單插入到訂單表,并回傳下單結果給用戶,用戶結算后,訂單模塊就會去根據支付情況去更新訂單狀態,

就這點事兒,對我這個技術渣渣來說,開始也著實費了一番手腳,不過最終也成了熟手,維護起這個模塊來也駕輕就熟了,

這種簡單的小日子過了一陣子后,新任務來了!

產品經理告訴我,資料審計部門想要我維護的這個訂單模塊在訂單完成后,能及時分發一份訂單資料給他們,他們提供了一個介面,讓我直接傳資料給他們,

兩個問題出現了:

問題 1:用戶等待時間變長

最簡單的實作就是我更新完訂單資料后,再順序去呼叫資料審計部門給的介面,把訂單資料傳過去,

但是,從用戶結算成功到更新訂單狀態這一系列的流程是同步的,假設這一系列流程所花費的時間是 n 毫秒,這就意味著,用戶需要等待至少 n 毫秒,如果再加上傳給資料審計部門的操作時間,假設為 m 毫秒,則整個用戶就需要等待就 n+m 毫秒,

整個功能用戶等待時間成本上升,體驗下降,如下圖:

問題 2:部分成功,部分失敗

引入新的介面后,某些時候呼叫這個介面可能會失敗,比如網路問題啊,驗證問題啊,介面服務失敗啊,很多原因,那么問題來了,新介面失敗的時候怎么處理?

如果訂單更新成功,傳給資料審計部門的時候失敗了,這種情況會讓訂單模塊的后續處理變得很尷尬,

首先你不可能回傳給客戶端說你這次結算失敗了,請求就沒失敗,你憑什么說人家失敗了?其次,你又不能說這次業務上就是成功的,因為資料審計其實還挺重要的,它是業務邏輯的重要組成部分,

真是進退兩難,
在這里插入圖片描述

這兩個問題的解決方案其中之一就是最終一致性,

我們以前談到過 CAP,知道如果犧牲一定的一致性就可以保證磁區容錯性和可用性,而最終一致性則是不能保證同時讓所有的資料當時都符合業務需求,但是我們能保證任何時候服務在內部出現問題的時候都是可對外服務的,

四哥我平時喜歡玩游戲,那我們就用一個淘寶買 Switch 的例子,來解釋最終一致性:

如果你想在淘寶同時買一個 Switch 的數字版游戲和一臺 Switch,那么你付完錢后,你就可以立刻得到數字版的游戲,但是,對于那臺購買的 Switch,你就要等幾天,等到快遞投遞到家才可以拿到,

來梳理下這個例子的細節:

  • 首先淘寶上肯定得有個對顧客售賣 Switch 和數字游戲的商家去接受我們下的訂單,并給你一個單號,
  • 你得到了一個數字版游戲,但是沒拿到 Switch,
  • 你不知道這個商家背后 Switch 是怎么給你準備的,是不是中間他沒貨了還得跑別的商家串貨,又或者沒貨等了兩天才發給你(延遲發貨可以給出別的理由,不再贅述),這些不重要,重要的是你明確對方接單了他就要完成這筆單子,
  • 你下單成功之后,你就有了保障,你最侄訓拿到你的 Switch,只是你可能不太肯定什么時候收到,

過了幾天,你終于收到貨了,恩,恭喜你成功入坑 Switch,

上面的例子就是我們說的最終一致性,但是,這里有個非常非常重要的東西還沒有凸顯出來,即到底是什么樣的原因在驅使我們使用最終一致性?

答案就是資料的分發,

紙上得來終覺淺,絕知此事要躬行

為什么我們會出現需要最終一致性的情況呢?

因為我們需要把資料分發到不同的地方上去,而由于分發資料到不同的地方,就會導致,可能中間分發程序中出現分發成功或者失敗的不一致情況,就需要最終一致性這種思路來處理這些情況,

恩,分發資料……OK,你想到了吧?
在這里插入圖片描述

沒錯,通過 MQ 分發訊息就可以處理分發資料的情況,而這正是最終一致性最常用的實作手段,

我們把要分發的資料打包成訊息,再發送給 MQ 中間件,中間件會廣播這些資料給所有想要收到這些訊息的服務,這些收到訊息的服務就根據自己的業務情況對資料進行獨立的處理,

回到我們訂單模塊的那個例子,我們可以采用兩種方式使用最終一致性,

  1. 先插入資料庫,后發訊息給資料審計
    在這里插入圖片描述

這個方式,訂單模塊先更新訂單狀態,然后,把訂單資料打包成訊息發送到 MQ 中,訂單模塊的任務就結束了,剩下的任務就是由資料審計部門根據自己的業務,從 MQ 中獲取訊息后進行對應的處理,

這個方法里,我們既保證資料庫更新成功也保證資料被發送到了 MQ 中,最終,當資料審計部門收到訊息并根據訊息內容做完對應的處理后,則整體資料達到最終一致的狀態,

  1. 只插入到 MQ 中

這個方式,訂單模塊直接收到請求后,將資料打包成訊息放入到 MQ 中,

然后,再由訂單模塊自己和資料審計部門的服務分別從 MQ 中拿到對應的訊息,再各自根據自己的業務邏輯該更新資料庫的更新資料庫,該走自己的審計的走自己的審計,最終達到一致的狀態,

小荷才露尖尖角,早有蜻蜓立上頭

在以上的例子中,我們描述了最終一致性的核心思路,不保證資料狀態能實時滿足業務要求,但是就像我們在線購物一樣,我們能保證在間隔了一段時間視窗后肯定能滿足業務需求,

然而,雖然說起來簡單,但是世間上的事情又哪里那么容易呢?根據業務的不同,最終一致性分化出了多種實作思路,比如,

重試 + 逆向模式

在我們做支付時,需要記賬,當記賬不成功時,我們可能希望能盡可能的重試,當重試達到某種限制后,甚至我們還要通知上游系統去提供一個重試和取消介面,讓下游能通知上游重發訊息,或者先暫時取消操作,

補救任務模式

在我們做支付記賬失敗了,我們又嘗試了重試 + 逆向模式取消了操作,那么此時就可以創建一個補救任務,等到后期可以保證記賬成功的時候去執行這個任務,

異步訊息模式

在我們做轉賬的時候,我們肯定是要保證 A 轉出后 B 轉入這種業務是強一致性的,然而,可能此時又需要跨服務,同時,我們還想盡量保證性能,那么,這個時候我們就可以先把本地對資料庫的寫操作和要跨服務的訊息做成事務,然后,后期再根據訊息被處理的狀態做整體事務的提交和回滾,

可以看到,最終一致性的實作方式是多種多樣的,但是,它始終逃不過一個核心,通過訊息佇列分發資料,在明白了這個根本原則后,以后我們理解各種各樣的分布式事務,分布式共識等就會容易許多了,

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/251608.html

標籤:其他

上一篇:單例模式的實作

下一篇:Java編程開發之淺析Java參考機制

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more