主頁 > 軟體設計 > 分布式事務之基本概念

分布式事務之基本概念

2020-09-15 00:33:57 軟體設計

1 基礎概念

1.1. 什么是事務

什么是事務?舉個生活的例子 :你去小賣部買東西,“一手交錢,一手交貨“就是一個事務的例子,交錢和交貨必須全部成功,事務才算成功,任一個活動失敗,事務將撤銷所有已成功的活動,
明白上述例子,再來看事務的定義 :
事務可以看做是一次大的活動,它由不同的小活動組成,這些活動要么全部成功,要么全部失敗,

1.2. 本地事務

在計算機系統中,更多的是通過關系型資料庫來控制事務,這里利用資料庫本身的事務特性來實作的,因此叫資料庫事務,由于應用主要靠關系資料庫來控制事務,而資料庫通常和應用在同一個服務器,所以基于關系型資料庫的事務又被稱為本地事務,
回顧一下資料庫事務的四大特性ACID:
A(Atomic):原子性,構成事務的所有操作,要么都執行完成,要么全部不執行,不可能出現部分成功部分失敗的情況,
C(Consistency):一致性,在事務執行前后,資料庫的一致性約束沒有被破壞,比如 :張三向李四轉100元,轉賬前和轉賬后的資料是正確狀態這叫一致性,如果出現張三轉出100元,李四賬戶沒有增加100元這就出現來資料錯誤,就沒有達到一致性,
I(Isolation):隔離性,資料庫中的事務一般都是并發的,隔離性是指并發的兩個事務的執行互不干擾,一個事務不能看到其他事務運行程序的中間狀態,通過配置事務隔離級別可以避免贓讀、重復讀等問題,
D(Durability):持久性,事務完成之后,該事務對資料的更改會被持久化到資料庫,且不會被回滾,
資料庫事務在實作時會將一次事務涉及的操作全部納入到一個不可分割的執行單元,該執行單元中的所有操作要么都成功,要么都失敗,只要其中任一操作執行失敗,都將導致整個事務的回滾,

1.3. 分布式事務

隨著互聯網的快速發展,軟體系統由原來的單體應用轉變為分布式應用,下圖描述來單體應用向微服務的演變:
在這里插入圖片描述
分布式系統會把一個應用系統拆分為可獨立部署的多個服務,因此需要服務與服務之間遠程協作才能完成事務操作,這種分布式系統環境下由不同的服務之間通過網路遠程協作完成事務稱之為分布式事務,例如用戶注冊送積分事務、創建訂單減庫存事務,銀行轉賬事務等都是分布式事務,
我們知道本地事務依賴資料庫本身提供的事務特性來實作,因此以下邏輯可以控制本地事務 :

begin transaction;
	// 1. 本地資料庫操作 :張三減少金額
	// 2. 本地資料庫操作 :李四增加金額
commit transation;

但是在分布式環境下,會變成下邊這樣:

begin transaction;
	// 1. 本地資料庫操作 :張三減少金額
	// 2. 遠程呼叫 :讓李四增加金額
commit transation;	

可以設想,當遠程呼叫讓李四增加金額成功來,由于網路問題遠程呼叫并沒有回傳,此時本地事務提交失敗的回滾來張三減少金額的操作,此時張三和李四的資料就不一致了,
因此在分布式架構的基礎上,傳統資料庫事務就無法使用了,張三和李四的賬戶不在一個資料庫中甚至不在一個應用系統里,實作轉賬事務需要通過遠程呼叫,由于網路問題就會導致分布式事務問題,

1.4. 分布式事務產生的場景

1、典型的場景就是微服務架構,微服務之間通過遠程呼叫完成事務操作,比如 :訂單微服務和庫存微服務,下單的同時訂單微服務請求庫存微服務減庫存,簡言之 :跨JVM行程產生分布式事務,
在這里插入圖片描述
2、單體系統訪問多個資料庫實體,當單體系統需要訪問多個資料庫(實體)時就會產生分布式事務,比如:用戶資訊和訂單資訊分別在兩個MySQL實體存盤,用戶管理系統洗掉用戶資訊,需要分別洗掉用戶資訊及用戶的訂單資訊,由于資料分布在不同的資料實體,需要通過不同的資料庫鏈接去操作資料,此時產生分布式事務,簡言之 :跨資料庫實體產生分布式事務,
在這里插入圖片描述
3、多服務訪問同一個資料庫實體,比如 :訂單微服務和庫存微服務即使訪問同一個資料庫也會產生分布式事務,原因就是跨JVM行程,兩個微服務持有了不同的資料庫鏈接進行資料庫操作,此時產生分布式事務,
在這里插入圖片描述

2. 分布式事務基礎理論

我們了解到分布式事務的基礎概念,與本地事務不同的是,分布式系統之所以叫分布式,是因為提供服務的各個節點分布在不同的機器上,相互之間通過網路互動,不能因為有一點網路問題就導致整個系統無法提供服務,網路因素成為了分布式事務的考量標準之一,因此分布式事務需要更進一步的理論支持,
在了解分布式事務控制解決方案之前先了解一些基礎理論,通過理論知識指導我們確定分布式事務控制的目標,從而幫助我們理解解決方案,

2.1. CAP理論

2.1.1. 理解CAP

CAP是Consistency、Availability、Parition tolerance三個詞語的縮寫,分別表示一致性、可用性、磁區容忍性,
下邊我們分別來解釋 :
為了方便對CAP理論的理解,我們結合電商系統中的一些業務場景來理解CAP,
如下圖,是商品資訊管理的執行流程 :
在這里插入圖片描述
整體執行流程如下 :
1、商品服務請求主資料庫寫入商品資訊(添加商品、修改商品、洗掉商品),
2、主資料庫向商品服務回應寫入成功,
3、商品服務請求從資料庫讀取商品資訊,

C-Consistency :
一致性是指寫操作后的讀操作可以讀取到最新的資料狀態,當資料分布在多個節點上,從任意節點讀取到的資料都是最新的狀態,
上圖中,商品資訊的讀寫要滿足一致性就是要實作如下目標 :
1、商品服務寫入主資料庫成功,則向從資料庫查詢新資料也成功,
2、商品服務寫入主資料庫失敗,則向從資料庫查詢新資料也失敗,
如何實作一致性?
1、寫入主資料庫后要將資料同步到從資料庫,
2、寫入主資料庫后,在向從資料庫同步期間要將從資料庫鎖定,待同步完成后再釋放鎖,以免在新資料寫入成功后,向從資料庫查詢到舊的資料,

分布式系統一致性的特點 :
1、由于存在資料同步的程序,寫操作的回應會有一定的延遲,
2、為了保證資料一致性會對資源暫時鎖定,待資料同步完成釋放鎖定資源,
3、如果請求資料同步失敗的節點則會回傳錯誤資訊,一定不會回傳舊資料,

A-Availability:
可用性是指任何事務操作都可以得到回應結果,且不會出現回應超時或回應錯誤,
上圖中,商品資訊讀取滿足可用性就是要實作如下目標 :
1、從資料庫接收到資料查詢的請求則立即能夠回應資料查詢結果,
2、從資料庫不允許出現回應超時或回應錯誤,
如何實作可用性?
1、寫入主資料庫后要將資料同步到從資料庫,
2、由于要保證從資料庫的可用性,不可將從資料庫中的資源進行鎖定,
3、即使資料還沒有同步過來,從資料庫也要回傳要查詢的資料,哪怕是舊資料,如果連舊資料也沒有則可以按照約定回傳一個默認資訊,但不能回傳錯誤或者回應超時,

分布式系統可用性的特點 :
1、所有請求都有回應,且不會出現回應超時或回應錯誤,

P-Partition tolerance :
通常分布式系統的各個節點部署在不同的子網,這就是網路磁區,不可避免的會出現由于網路問題而導致節點之間通訊失敗,此時仍可對外提供服務,這叫磁區容忍性,
上圖中,商品資訊讀寫滿足磁區容忍性就是要實作如下目標 :
1、主資料庫向從資料庫同步資料失敗不影響讀寫操作,
2、其一個節點掛掉不影響另一個節點對外提供服務,

如何實作磁區容忍性?
1、盡量使用異步取代同步操作,例如使用異步方式將資料從主資料庫同步到從資料,這樣節點之間能有效的實作松耦合,
2、添加從資料庫節點,其中一個從節點掛掉其它從節點提供服務,

分布式磁區容忍性的特點 :
1、磁區容忍性是分布式系統具備的基本能力,

2.1.2. CAP組合方式

1、上邊商品管理的例子是否同時具備CAP呢?
在所有分布式事務場景中不會同時具備CAP三特性,因為在具備了P的前提下C和A是不能共存的,
比如 :
下圖滿足了P即表示實作磁區容忍 :
在這里插入圖片描述
本圖磁區容忍的含義是 :
1)主資料庫通過網路向從資料同步資料,可以認為主從資料庫部署在不同的磁區,通過網路進行互動,
2)當主資料庫和從資料庫之間的網路出現問題不影響主資料庫和從資料庫對外提供服務,
3)其一個節點掛掉不影響另一個節點對外提供服務,
如果要實作C則必須保證資料一致性,在資料同步的時候為防止向從資料庫查詢不一致的資料則需要將從資料庫資料鎖定,待同步完成后解鎖,如果同步失敗從資料庫要回傳錯誤資訊或超時資訊,
如果要實作A則必須保證資料可用性,不管任何時候都可以向從資料庫查詢資料,則不會回應超時或回傳錯誤資訊,
通過分析發現在滿足P的前提下C和A存在矛盾性,

2、CAP有那些組合方式呢?
在生產中對分布式事務處理時要根據需求來確定滿足CAP的那兩個方面,
1)AP:
放棄一致性,追求磁區容忍性和可用性,這是很多分布式系統設計時的選擇,
例如 :
上邊的商品管理,完全可以實作AP,前提是只要用戶可以接收所查詢的到資料在一定時間內不是最新的即可,
通常實作AP都會保證最終一致性,后面講的BASE理論就是根據AP來擴展的,一些業務場景 比如 :訂單退款,今日退款成功,明日賬戶到賬,只要用戶可以接受在一定時間內到賬即可,
2)CP:
放棄可用性,追求一致性和磁區容錯性,我們的zookeeper其實就是追求的強一致性,又比如跨行轉賬,一次轉賬請求要等待雙方銀行系統都完成整個事務才算完成,
3)CA:
放棄磁區容忍性,既不進行磁區,不考慮由于網路不通或節點掛掉的問題,則可以實作一致性和可用性,那么系統將不是一個標準的分布式系統,我們最常用的關系型資料就滿足了CA,
上邊的商品管理,如果要實作CA則架構如下 :
在這里插入圖片描述
主資料庫和從資料庫中間不再進行資料同步,資料庫可以回應每次的查詢請求,通過事務隔離級別實作每個查詢請求都可以回傳最新的資料,

2.1.3 總結

通過上面的學習,CAP是一個已經被證實的理論 :一個分布式系統最多只能同時滿足一致性(Consistency)、可用性(Availability)和磁區容忍性(Partition tolerance)這三項中的兩項,它可以作為我們架構設計、技術選型的考量標準,對于多數大型互聯網應用的場景,節點眾多、部署分散,而且現在的集群規模越來越大,所以節點故障、網路故障是常態,而且要保證服務可用性達到N個9(99.99.%),并要達到良好的回應性能來提高用戶體驗,因此一般都會做出如下選擇 :保證P和A,舍棄C強一致性,保證最終一致性,

2.2. BASE理論

1、理解強一致性和最終一致性
CAP理論告訴我們一個分布式系統最多只能同時滿足一致性(Consistency)、可用性(Availability)和磁區容忍性(Partition tolerance)這三項中的兩項,其中AP在實際應用中較多,AP既舍棄一致性,保證可用性和磁區容忍性,但是在實際生產中很多場景都要實作一致性,比如前邊我們舉的例子,AP即舍棄一致性,保證可用性和磁區容忍性,但是在實際產生中很多場景都要實作一致性,比如前邊我們覺得例子主資料庫向從資料庫同步資料,即使不要一致性,但是最終也要將資料同步成功來保證資料一致,這種一致性和CAP中的一致性不同,CAP中的一致性要求在任何時間查詢每個節點資料都必須一致,它強調的是強一致性,但是最終一致性是允許可以在一段時間內每個節點的資料不一致,但是經過一段時間每個節點的資料必須一致,它強調的是最終資料的一致性,
2、Base理論介紹
BASE是Basically Availbale(基本可用)、Soft state(軟狀態)和Eventually consistent(最終一致性)三個短語的縮寫,BASE理論是對CAP中AP的一個擴展,通過犧牲強一致性來獲得可用性,當出現故障允許部分不可用但要保證核心功能可用,允許資料在一段時間內是不一致的,但最終達到一致狀態,滿足BASE理論的事務,我們稱之為“柔性事務”,

  • 基本可用 :分布式系統在出現故障時,允許損失部分可用功能,保證核心功能可用,如電商網址交易付款出現問題來,商品依然可以正常瀏覽,
  • 軟狀態:由于不要求強一致性,所以BASE允許系統中存在中間狀態(也叫軟狀態),這個狀態不影響系統可用性,如訂單中的“支付中”、“資料同步中”等狀態,待資料最終一致后狀態改為“成功”狀態,
  • 最終一致性:最終一致是指的經過一段時間后,所有節點資料都將會達到一致,如訂單的“支付中”狀態,最侄訓變為“支付成功”或者“支付失敗”,使訂單狀態與實際交易結果達成一致,但需要一定時間的延遲、等待,

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/39892.html

標籤:架構設計

上一篇:重構改善既有代碼

下一篇:Nginx配置實體-負載均衡實體:平均訪問多臺服務器

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more