主頁 > 資料庫 > MySQL是如何實作事務隔離?

MySQL是如何實作事務隔離?

2021-06-09 19:45:46 資料庫

前言

  眾所周知,MySQL的在RR隔離級別下查詢資料,是可以保證資料不受其它事物影響,而在RC隔離級別下只要其它事物commit后,資料都會讀到commit之后的資料,那么事物隔離的原理是什么?是通過什么實作的呢?那肯定是通過MVCC機制(Multi-Version Concurrency Control,即多版本并發控制),這是很多人知道的,但是我之前沒有好好分析過其實作原理,所以寫下此篇博文記錄下!

  注:MySQL的InnoDB引擎之所以能夠支持高性能的并發性能,就是由于MySQL的MVCC機制(歸功于undo log、Read-View、),但是本篇不對MVCC過多的介紹,

  參考資料:《MySQL實戰45講》系列,雖然講解的比較清晰,但是仍然需要理解,比如關于視圖陣列部分我認為是相比較而言沒有解釋清楚,所以結合資料與自己見解加以記錄!

 


 

一、RC與RR隔離級別

我們分別開啟RC與RR隔離級別實驗說明,首先假設有account賬戶表,在事務ABC開啟前,賬戶中的余額balance為1,即

select balance from account =1; # 結果為1

1.RR事務隔離級別下查詢結果

當在RR事務隔離級別分別開啟三個事務,在不同時間段內做如下操作

  • 事務A(顯式開啟事務,手動commit提交):查詢余額
  • 事務B(顯式開啟事務,手動commit提交):對id=1的余額加1
  • 事務C(不顯式開啟事務,自動提交):對id=1的余額加1

 我們從時間邏輯上分為三個階段,分析結果

  • 第一階段:事務A立馬開始事務,隨后事務B也緊跟著立馬開始事務,然后事務C首先更新balance為2成功,當前balance=2;
  • 第二階段:事務B更新balance的值,此時先讀到當前balance最新值為2,隨后set balance=balance+1成功,當前balance=3;
  • 第三階段:事務A查詢balance的值,此時的值為1(這里為什么等于1呢,是怎么實作的呢?不應該是當前最新值3嗎?這就是本篇博文討論的重點,最后commit結束事務,緊接著事務B也commit結束事務

 最后事務A讀取balance的結果是1,理所當然,RR即為可重復讀,即一個事務在執行程序中看到的資料,總是跟這個事務啟動時看到的資料是一致的,當前事務不管有沒有提交,都不會影響資料,我只需要讀取基于快照的資料即可,這就是快照讀,但是我們要討論的是如何在MVCC機制下實作?

注:begin/start transaction 命令并不是一個事務的起點,在執行到它們之后的第一個操作InnoDB表的陳述句,事務才真正啟動,如果你想要馬上啟動一個事務,可以使用start transaction with consistent snapshot 這個命令,

1.RC事務隔離級別下查詢結果

同樣地,我們在RC隔離下,開啟事務ABC,觀察事務A最后的balance結果,

 最后事務A讀取balance的結果是2,理所當然,RC即為讀可提交,字面意思就是其他事務只要提交后,當前事務我就能立馬讀取到最新當前值,這就是當前讀,但是我們要討論的是如何在MVCC機制下實作?

 實際上這是因為實作MVCC時用到的一致性讀視圖,即consistent read view,用于支持RC(Read Committed,讀提交)和RR(Repeatable Read,可重復讀)隔離級別的實作,

三、事務隔離在MVCC的實作

在探討MVCC如何實作事務隔離前,我們需要知道是視圖陣列、一致性視圖等概念,才能幫助更好理解MVCC幫助事務實作了隔離,

1.資料行ROW的多版本

  InnoDB里面每個事務有一個唯一的事務ID,叫作transaction id,它是在事務開始的時候向InnoDB的事務系統申請的,是按申請順序嚴格遞增的

  而每行資料也都是有多個版本的,每次事務更新資料的時候,都會生成一個新的資料版本,并且把transaction id賦值給這個資料版本的事務ID,記為row trx_id,同時,舊的資料版本要保留,并且在新的資料版本中,能夠有資訊可以直接拿到它(通過undo_log檔案找到),

  也就是說,資料表中的一行記錄,其實可能有多個版本(row),每個版本有自己的row trx_id

  對某一個資料行ROW某個時刻經過三次更新事務的多版本控制流程,畫如下圖加深理解,

從圖我們可以得到:

  • ROW有四個版本V1-V4,即經過三次更新balance后,當前最新版本為V4,當前balance已經更新為4,是最新值
  • InnoDB每次更新事務產生的transaction id都會賦值給row trx_id;
  • 通過undo_log可以從V4撤回到V1,找到V1版本的balance=1,即undo_log回滾版本,

明白了資料行的ROW的多版本原理與實作后,可以幫助我們理解InnoDB是怎么定義并創建快照的!

2.視圖陣列

  下述部分出自資料中的原句,特別是紅色加深部分可能會比較難以理解,所以需要結合自己理解并畫圖

InnoDB是這么在事務開啟的時候定義快照的,哪些事務的操作我可以忽視,哪么我必須要保存在快照里,可以理解為:一個事務只需要在啟動的時候宣告說,“以我啟動的時刻為準,如果一個資料版本是在我啟動之前生成的,就認;如果是我啟動以后才生成的,我就不認,我必須要找到它的上一個版本”,

  在實作上, InnoDB為每個事務構造了一個陣列,用來保存這個事務啟動瞬間,當前正在“活躍”的所有事務ID,“活躍”指的就是,啟動了但還沒提交,陣列里面事務ID的最小值記為低水位,當前系統里面已經創建過的事務ID的最大值加1記為高水位,這個視圖陣列和高水位,就組成了當前事務的一致性視圖(read-view),

我對低水位與高水位的理解:

低水位=當前所有啟動了但未提交事務集合的ID最小值=當前事務的上一個啟動但未提交的事務ID最小值(所有活躍事務ID最小值)

高水位=當前事務的ID(當前ROW版本號/row trx_id)=已經創建過事務ID的最大值+1

舉例說明:仍然以上述RR隔離級別下三個ABC事務為例

  • 事務A開始前,系統里面只有一個活躍事務ID是99;
  • 事務A、B、C的版本號分別是100、101、102,且當前系統里只有這四個事務;
  • 三個事務開始前,(id,balance)=(1,1)這一行資料的row trx_id是90,

這樣,事務A的視圖陣列就是[99], 事務B的視圖陣列是[99,100], 事務C的視圖陣列是[99,100,101]即視圖陣列通用公式為:[{當前事務開啟瞬間活躍事務ID集合}]

 資料版本的可見性規則,就是基于row trx_id和一致性視圖對比結果得到的,所以我們還必須再了解下一致性視圖

3.一致性視圖

通過對視圖陣列的理解,一致性視圖就更加容易了,即:這個視圖陣列和高水位,就組成了當前事務的一致性視圖(read-view),

仍然以上述RR隔離級別下三個ABC事務為例

  • 事務A開始前,系統里面只有一個活躍事務ID是99, 所以事物A開啟瞬間活躍事物集合為[99];
  • 事務A、B、C的版本號分別是100、101、102,且當前系統里只有這四個事務,所以事物A、B、C高水位分別為100、101、102
  • 三個事務開始前,(id,balance)=(1,1)這一行資料的row trx_id是90,

 這樣,事務A的一致性視圖就是[99,100], 事務B的一致性視圖是[99,100,101], 事務C的一致性視圖是[99,100,101,102],即一致性視圖通用公式為:[{當前事務開啟瞬間活躍事務ID集合},當前row trx_id]

分析上述流程圖結果:

第一個有效更新版本是事物C,更新balance=2,這個時候的最新版本row trx_id=102,而之前的在事物ABC之前的活躍事物最新版本row trx_id為99,所以此時99已經成為歷史版本1;

第二個有效更新版本是事物B,更新balance=3,這個時候最新版本row trx_id=101,而此時row trx_id=102成為歷史版本1,而row trx_id=99成為歷史版本2;

事物A查詢的時候,事物B是沒有提交,但生成的(id, balance)=(1, 3)已經成為當前最新版本,事物A讀取資料時,一致性視圖為[99, 100],而讀資料都是從當前版本切的然后對比row trx_id,所以會有以下流程:

  • 找到(1,3)的時候,判斷出row trx_id=101,比高水位大,處于紅色區域,不可見;
  • 接著,找到上一個歷史版本,一看row trx_id=102,比高水位大,處于紅色區域,不可見;
  • 再往前找,終于找到了(1,1),它的row trx_id=90,比低水位小,處于綠色區域,可見

最后事物A無論在什么時候查詢,看到的資料都是一致性視圖[99, 100]生成的快照資料(1, 1),即row trx_id=90時的資料,這就稱之為一致性讀

總結:

對于一個事務視圖來說,除了自己的更新總是可見以外,有三種情況:
  • 版本未提交,不可見;
  • 版本已提交,但是是在視圖創建后提交的,不可見;
  • 版本已提交,而且是在視圖創建前提交的,可見,
現在,我們用這個規則來判斷圖中的查詢結果,事務A的查詢陳述句的視圖陣列是在事務A啟動的 時候生成的,這時候:
  • (1,3)還沒提交,屬于情況1,不可見;
  • (1,2)雖然提交了,但是是在視圖陣列創建之后提交的,屬于情況2,不可見;
  • (1,1)是在視圖陣列創建之前提交的,可見

4.當前讀與快照讀

(1)當前讀與快照讀規則

  當然按照這個一致性讀的邏輯,事物B在事物C有效更新balance=2之后,但是事物B的視圖陣列是在事物C生成的,所以理論上來說不應該是事物B看到的是(id, balance)=(1, 1)這個資料(快照/歷史版本)嗎?而看不到當前版本(1, 2)資料,為什么事物B在更新balance之后直接資料就成為(1, 3)了呢?

  如果事物B在update之前select一次資料,看到的值確實是balance=1,但是update是不能在歷史版本上操作的,否則事物C的更新就會丟失,所以update操作都是在先讀取當前版本,然后再更新,

  也就說有這么一條規則:更新資料都是先讀后更新,而這個讀是讀當前最新值,稱之為“當前讀(current read),而只查詢不讀的話就會讀取當前快照,稱之為“快照讀”所以在事物B更新balance之前,先查詢到最新的版本(1, 2)然后再更新為(1, 3),而事物A查詢的快照資料為(1, 1),而不是最新版本(1, 3),

(2)當前讀與快照讀解釋

  當前讀:像select lock in share mode(共享鎖), select for update ; update, insert ,delete(排他鎖)這些操作都是一種當前讀,就是它讀取的是記錄的最新版本,讀取時還要保證其他并發事務不能修改當前記錄,會對讀取的記錄進行加鎖,

  快照讀:像不加鎖的select操作就是快照讀,即不加鎖的非阻塞讀;快照讀的前提是隔離級別不是串行級別,串行級別下的快照讀會退化成當前讀,是基于多版本控制的,那么快照讀可能讀到的并不一定是資料的最新版本,而有可能是之前的歷史版本(快照資料)

(3)RC讀可提交下的視圖規則

讀提交的邏輯和可重復讀的邏輯類似,它們最主要的區別是:

  • 在可重復讀隔離級別下,只需要在事務開始的時候創建一致性視圖,之后事務里的其他查詢,都共用這個一致性視圖
  • 在讀提交隔離級別下,每一個陳述句執行前都會重新算出一個新的視圖,此時start transaction with consistent snapshot就等同于普通的start transaction/begin
所以在RC隔離級別下,事物A與事物B查詢到的資料分別如下:
  • 事物C立馬更新balance=2,然后自動提交,生成最新版本(1, 2),此時重新計算出視圖資料(1, 2);
  • 事物B查到此時的最新版本為(1, 2),之后再更新為版本(1, 3)為當前最新版本,查詢此時的事物B select到的balance=3(事物B更新balance=3之后立馬算出一個新的視圖,select就是根據此視圖得到的資料),而不是1,
  • 而此時事物B還未提交,對于事物A來說是看不見的,所以事物A此時讀取到的事物C提交的最新版本(1, 2)

 

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/286059.html

標籤:MySQL

上一篇:MySQL資料庫基礎回顧【詳細】

下一篇:存盤體系

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more