主頁 > 資料庫 > 「MySQL高級篇」MySQL之MVCC實作原理&&事務隔離級別的實作

「MySQL高級篇」MySQL之MVCC實作原理&&事務隔離級別的實作

2022-11-02 08:47:24 資料庫

大家好,我是melo,一名大三后臺練習生,死去的MVCC突然開始拷打我??????!

??引言

MVCC,非常順口的一個詞,翻譯起來卻不是特別順口:多版本并發控制,

  • 其中多版本是指什么呢?一條記錄的多個版本,
  • 并發控制?如何實作呢?我們上篇剛講到了鎖機制,而MVCC則是用更好的方式來提高并發性能,避免加鎖!具體如何實作,底層原理是什么,這篇將帶你攻破ta,

??本篇速覽腦圖

MVCC.png

image.png
通過「版本鏈」來控制并發事務訪問同一個記錄時的行為就叫 MVCC(多版本并發控制),

看完后文,再回過頭來看這張圖,就會理解了

當前讀,快照讀

首先我們需要一些前置知識,區分開當前讀和快照讀,

  1. 加鎖的讀,則是當前讀,另外update,insert,delete也都是當前讀
  2. 快照讀,我們平時簡單的select陳述句其實就是【不加鎖】

注意串行化隔離級別下,快照讀會退化為當前讀,

image.png

  • 那這倆跟MVCC有什么關系呢?

快照讀,相當于你可以讀到的是一個歷史版本,維護這些歷史版本就需要MVCC出馬了【其中的undolog版本鏈】

MVCC用處

解決 讀—寫 沖突的無鎖并發控制,每次對A記錄的寫操作,都會給A保存一個快照版本,至于讀操作的時候,讀的是哪個快照版本,這就得看MVCC的實作原理了【下文的readview訪問規則】

??MVCC實作原理

??記錄中的隱藏欄位

InnoDB 里面每個事務有一個唯一的事務 ID,叫作 transaction id,它是在事務開始的時候向 InnoDB 的事務系統申請的,是按申請順序嚴格遞增的

每行資料也都是有多個版本的,每次事務更新資料的時候,都會生成一個新的資料版本,并且把 transaction id 賦值給這個資料版本的事務 ID,記為 row trx_id【也就是下圖的DB_TRX_ID】,同時,舊的資料版本要保留,并且在新的資料版本中,能夠有資訊可以直接拿到它,
image.png

  • DB_TRX_ID(6位元組):表示最后一次插入或更新該行的事務 id,此外,delete 操作在內部被視為更新,只不過會在記錄頭 Record header 中的 deleted_flag 欄位將其標記為已洗掉

  • DB_ROLL_PTR(7位元組) 回滾指標,指向該行的 undo log ,如果該行未被更新,則為空

  • DB_ROW_ID(6位元組):如果沒有設定主鍵且該表沒有唯一非空索引時,InnoDB 會使用該 id 來生成聚簇索引

??readview

四個核心欄位

image.png
計算m_ids的時候,可能會有新的事務產生,為了防止這種情況出現,MySQL保證計算m_ids【也就是生成視圖陣列的時候】會在事務系統的鎖保護下進行,是原子操作,期間不會創建新的事務,

????訪問規則

image.png

  • 如果記錄的 trx_id 值小于 Read View 中的 min_trx_id 值,表示這個版本的記錄是在創建 Read View 已經提交的事務生成的,所以該版本的記錄對當前事務可見

  • 如果記錄的 trx_id 值大于等于 Read View 中的 max_trx_id 值,表示這個版本的記錄是在創建 Read View 才啟動的事務生成的,所以該版本的記錄對當前事務不可見

  • 如果記錄的 trx_id 值在 Read View 的 min_trx_id 和 max_trx_id 之間,表明這個版本的記錄在創建 Read View 的時候 可能處于“活動狀態”或者“已提交狀態”;需要判斷 trx_id 是否在 m_ids 串列【活躍狀態】中:--【因為是有序的,故采用二分查找】

    • 如果記錄的 trx_id m_ids 串列中,表示生成該版本記錄的活躍事務依然活躍著(還沒提交事務),所以該版本的記錄對當前事務不可見
    • 如果記錄的 trx_id 不在 m_ids串列中,表示生成該版本記錄的活躍事務已經被提交,所以該版本的記錄對當前事務可見

????總結

  1. 版本未提交,不可見;
  2. 版本已提交,但是是在視圖創建后提交的,不可見;
  3. 版本已提交,而且是在視圖創建前提交的,可見,

????update特例

image.png
在這個例子中,如果還按上邊的訪問規則來看的話,應該是讀取不到102這個版本來著,但實際情況是如何呢?

如果讀取不到的話:那事務B還是在原來的k基礎上去+1,那么事務C的更新相當于是丟失了!

這里就涉及到了我們開篇講到的當前讀,更新資料都是先讀后寫的,這個讀,就是“當前讀”,

而且當前讀需要對資料行加鎖,此處由于事務C已經提交了,釋放了鎖【兩階段協議】,因此事務B可以直接查到,若事務C還未提交的話,還需要阻塞等待,

???♂????♂?45講疑問

可能看了45講的小伙伴會有疑問,45講里邊這個圖

這樣,對于當前事務的啟動瞬間來說,一個資料版本的 row trx_id,有以下幾種可能:

  1. 如果落在綠色部分,表示這個版本是已提交的事務或者是當前事務自己生成的,這個資料是可見的;
  2. 如果落在紅色部分,表示這個版本是由將來啟動的事務生成的,是肯定不可見的;
  3. 如果落在黃色部分,那就包括兩種情況
    a. 若 row trx_id 在陣列中,表示這個版本是由還沒提交的事務生成的,不可見;
    b. 若 row trx_id 不在陣列中,表示這個版本是已經提交了的事務生成的,可見,

這個圖很容易迷惑到我們,讓我們誤以為黃色部分跟未提交事務集合是等同的,那怎么落在黃色部分里邊,還能再細分成兩種情況呢?

melo畫了個花里胡哨的圖,來看看計算的程序【如有錯誤之處還請指正】

  1. 1-10就是45講里邊的綠色部分,11-15是黃色部分,15之后是紅色部分
    1. 如此可以看到,黃色部分里邊,還是有一些不在m_ids里邊的吧,不要被表面的影像迷惑了
    2. 并不是說只有11之前的,才是已提交事務,11-15里邊也是可能會有已提交事務的

image.png

生成時機

注意,并不是開啟事務就生成了,得執行快照讀了才會

RC: 在事務中每一次執行快照讀都會生成
RR:僅在事務中第一次執行快照時生成,后續都是復用這個readview
但是如果事務中進行了當前讀的操作,比如事務中進行了update操作,后續再查詢就會重新生成ReadView

其實就是上邊的update特例

??undo log

當讀取記錄時,若該記錄被其他事務占用或當前版本對該事務不可見,則可以通過 undo log 讀取之前的版本資料,以此實作快照讀

型別

image.png
在 InnoDB 存盤引擎中 undo log 分為兩種: insert undo log 和 update undo log:

  1. insert undo log :指在 insert 操作中產生的 undo log,因為 insert 操作的記錄只對事務本身可見【只在事務回滾時需要】,對其他事務不可見,故該 undo log 可以在事務提交后直接洗掉,不需要進行 purge 操作
  2. update undo log :update 或 delete 操作中產生的 undo log,該 undo log可能需要提供 MVCC 機制,因此不能在事務提交時就進行洗掉,提交時放入 undo log 鏈表【下文的版本鏈】,等待 purge執行緒 進行最后的洗掉

??版本鏈

類似一個鏈表,通過回滾指標,串聯起來

  • 鏈表頭部是最新的資料,尾部是最舊的記錄

image.png

??栗子

????RC的例子

快照讀

image.png
先看事務5里邊,兩次快照讀生成的readview是怎樣的?

  1. 第一次執行,此時活躍的事務id有【3,4,5】(2已經提交了)
  2. 最小即是3,最大【注意是預分配最大】是6
  3. 創建該事務的id自然是5

第二次快照讀也是同樣的分析方式

??判斷能查到哪個事務記錄

我們想知道第一次快照讀,讀取到的是哪個事務對應的記錄【左下角中四個記錄】

比如拿 0x0003這條記錄來分析,trx_id是3,去跟第一個readview比對

  1. 判斷是否是當前事務創建的記錄,3!=5,說明不是
  2. 判斷是否已經提交了【小于min_trx_id】,3不小于3,則還未提交
  3. 判斷是否是創建readview之后才創建的事務記錄【大于max_trx_id】,3不大于,則不是
  4. 判斷資料是否已經提交【不在m_ids】里邊,3在說明還未提交

因此,第一次快照讀,是沒法讀取到 0x0003這條記錄的

image.png

RR的例子

image.png
具體如何分析,跟上邊RC是一樣的,這里就不再贅述

只需要注意:如果期間出現了當前讀,則會重新生成readview

總結

MVCC就是為快照讀而生的,維護不同的快照版本,使得不同事務的讀-寫操作不會沖突,實作多版本并發控制,借助MVCC,資料庫可以實作READ COMMITTED,REPEATABLE READ等隔離級別

MVCC.png

??下篇預告

這篇我們主要講的是MVCC多版本并發控制,結合了事務的隔離級別,而關于事務背后的原理相關的日志,這些我們留到后邊再來詳解,

??參考文獻

  • MySQL45講
  • 黑馬MySQL視頻

收藏=白嫖,點贊+關注才是真愛!!!本篇文章如有不對之處,還請在評論區指出,歡迎添加我的微信一起交流:Melo__Jun

??友鏈

  • MySQL高級篇專欄

  • ??我的一年后臺練習生涯

  • 聊聊Java

  • 分布式開發實戰

  • Redis入門與實戰

  • 資料結構與演算法

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/525063.html

標籤:MySQL

上一篇:官宣 | 袋鼠云獲過億元C+輪融資,深耕國產自研數字化技術與服務

下一篇:配置MySQL5.7主從復制

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more