主頁 > 後端開發 > MySQL 是如何實作 ACID 的?

MySQL 是如何實作 ACID 的?

2021-09-18 22:41:13 後端開發

來源:https://llc687.top/131.html

本文主要探討MySQL InnoDB 引擎下ACID的實作原理,對于諸如什么是事務,隔離級別的含義等基礎知識不做過多闡述,

ACID

MySQL 作為一個關系型資料庫,以最常見的 InnoDB 引擎來說,是如何保證 ACID 的,

  • (Atomicity原子性: 事務是最小的執行單位,不允許分割,原子性確保動作要么全部完成,要么完全不起作用;
  • (Consistency)一致性: 執行事務前后,資料保持一致;
  • (Isolation)隔離性: 并發訪問資料庫時,一個事務不被其他事務所干擾,
  • (Durability)持久性: 一個事務被提交之后,對資料庫中資料的改變是持久的,即使資料庫發生故障,

隔離性

先說說隔離性,首先是四種隔離級別,

隔離級別 說明
讀未提交 一個事務還沒提交時,它做的變更就能被別的事務看到
讀提交 一個事務提交之后,它做的變更才會被其他事務看到
可重復讀 一個事務中,對同一份資料的讀取結果總是相同的,無論是否有其他事務對這份資料進行操作,以及這個事務是否提交,InnoDB默認級別
串行化 事務串行化執行,每次讀都需要獲得表級共享鎖,讀寫相互都會阻塞,隔離級別最高,犧牲系統并發性,

不同的隔離級別是為了解決不同的問題,也就是臟讀、幻讀、不可重復讀,

隔離級別 臟讀 不可重復讀 幻讀
讀未提交 可以出現 可以出現 可以出現
讀提交 不允許出現 可以出現 可以出現
可重復讀 不允許出現 不允許出現 可以出現
序列化 不允許出現 不允許出現 不允許出現

那么不同的隔離級別,隔離性是如何實作的,為什么不同事物間能夠互不干擾? 答案是 鎖 和 MVCC,

先來說說鎖, MySQL 有多少鎖,

粒度

從粒度上來說就是表鎖、頁鎖、行鎖,
表鎖有意向共享鎖、意向排他鎖、自增鎖等,
行鎖是在引擎層由各個引擎自己實作的,但并不是所有的引擎都支持行鎖,比如 MyISAM 引擎就不支持行鎖,

行鎖的種類

在 InnoDB 事務中,行鎖通過給索引上的索引項加鎖來實作,這意味著只有通過索引條件檢索資料,InnoDB才使用行級鎖,否則將使用表鎖,
行級鎖定同樣分為兩種型別:共享鎖排他鎖,以及加鎖前需要先獲得的意向共享鎖和意向排他鎖,

  • 共享鎖:讀鎖,允許其他事務再加S鎖,不允許其他事務再加X鎖,即其他事務只讀不可寫,select...lock in share mode 加鎖,
  • 排它鎖:寫鎖,不允許其他事務再加S鎖或者X鎖,insert、update、delete、for update加鎖,

行鎖是在需要的時候才加的,但并不是不需要了就立刻釋放,而是要等到事務結束時才釋放,這個就是兩階段鎖協議,

行鎖的實作演算法

Record Lock

單個行記錄上的鎖,總是會去鎖住索引記錄,

Gap Lock

間隙鎖,想一下幻讀的原因,其實就是行鎖只能鎖住行,但新插入記錄這個動作,要更新的是記錄之間的“間隙”,所以加入間隙鎖來解決幻讀,

Next-Key Lock

Gap Lock + Record Lock, 左開又閉,

鎖之于隔離性

大致介紹了下鎖,可以看到,有了鎖,當某事務正在寫資料時,其他事務獲取不到寫鎖,就無法寫資料,一定程度上保證了事務間的隔離,但前面說,加了寫鎖,為什么其他事務也能讀資料呢,不是獲取不到讀鎖嗎

MVCC

前面說到,有了鎖,當前事務沒有寫鎖就不能修改資料,但還是能讀的,而且讀的時候,即使該行資料其他事務已修改且提交,還是可以重復讀到同樣的值,這就是MVCC,多版本的并發控制,Multi-Version Concurrency Control,

版本鏈

Innodb 中行記錄的存盤格式,有一些額外的欄位:DATA_TRX_ID和DATA_ROLL_PTR

  • DATA_TRX_ID:資料行版本號,用來標識最近對本行記錄做修改的事務 id,
  • DATA_ROLL_PTR:指向該行回滾段的指標,該行記錄上所有舊版本,在 undo log 中都通過鏈表的形式組織,

undo log : 記錄資料被修改之前的日志,后面會詳細說,

另外,MySQL 系列面試題和答案全部整理好了,微信搜索?Java技術堆疊,在后臺發送:面試,?可以在線閱讀,

ReadView

在每一條 SQL 開始的時候被創建,有幾個重要屬性:

  • trx_ids: 當前系統活躍(未提交)事務版本號集合,
  • low_limit_id: 創建當前 read view 時“當前系統最大事務版本號+1”,
  • up_limit_id: 創建當前read view 時“系統正處于活躍事務最小版本號”
  • creator_trx_id: 創建當前read view的事務版本號;

開始查詢

現在開始查詢,一個 select 過來了,找到了一行資料,

  • DATA_TRX_ID <up_limit_id :說明資料在當前事務之前就存在了,顯示,

  • DATA_TRX_ID >= low_limit_id:

    說明該資料是在當前read view 創建后才產生的,資料不顯示,

    • 不顯示怎么辦,根據 DATA_ROLL_PTR 從 undo log 中找到歷史版本,找不到就空,
  • up_limit_id <DATA_TRX_ID <low_limit_id :就要看隔離級別了,

RR 級別的幻讀

有了鎖和 MVCC , 事務的隔離性得到解決,這里要引申一下,默認的 RR 的級別,解決了幻讀嗎?
幻讀通常針對的是 INSERT, 不可重復度則針對 UPDATE ,

事物 1 事物 2
begin begin
select * from dept
- insert into dept(name) values("A")
- commit
update dept set name="B"
commit

我們期望是

id  name
1   A
2   B

實際卻是

id  name
1   B
2   B

其實在 MySQL 可重復讀的隔離級別中并不是完全解決了幻讀的問題,而是解決了讀資料情況下的幻讀問題,而對于修改的操作依舊存在幻讀問題,就是說 MVCC 對于幻讀的解決時不徹底的,

原子性

接著說說原子性,前文有提到 undo log ,回滾日志,隔離性的MVCC其實就是依靠它來實作的,原子性也是,
實作原子性的關鍵,是當事務回滾時能夠撤銷所有已經成功執行的sql陳述句,
當事務對資料庫進行修改時,InnoDB會生成對應的 undo log;如果事務執行失敗或呼叫了 rollback,導致事務需要回滾,便可以利用 undo log 中的資訊將資料回滾到修改之前的樣子,
undo log 屬于邏輯日志,它記錄的是sql執行相關的資訊,當發生回滾時,InnoDB 會根據 undo log 的內容做與之前相反的作業:

  • 對于每個 insert,回滾時會執行 delete;
  • 對于每個 delete,回滾時會執行insert;
  • 對于每個 update,回滾時會執行一個相反的 update,把資料改回去,

以update操作為例:當事務執行update時,其生成的undo log中會包含被修改行的主鍵(以便知道修改了哪些行)、修改了哪些列、這些列在修改前后的值等資訊,回滾時便可以使用這些資訊將資料還原到update之前的狀態,

持久性

Innnodb有很多 log,持久性靠的是 redo log,

一條SQL更新陳述句怎么運行

持久性肯定和寫有關,MySQL 里經常說到的 WAL 技術,WAL 的全稱是 Write-Ahead Logging,它的關鍵點就是先寫日志,再寫磁盤,就像小店做生意,有個粉板,有個賬本,來客了先寫粉板,等不忙的時候再寫賬本,

redo log

redo log 就是這個粉板,當有一條記錄要更新時,InnoDB 引擎就會先把記錄寫到 redo log(并更新記憶體),這個時候更新就算完成了,在適當的時候,將這個操作記錄更新到磁盤里面,而這個更新往往是在系統比較空閑的時候做,這就像打烊以后掌柜做的事,
redo log 有兩個特點

  • 大小固定,回圈寫
  • crash-safe

對于redo log 是有兩階段的:commit 和 prepare
如果不使用“兩階段提交”,資料庫的狀態就有可能和用它的日志恢復出來的庫的狀態不一致.
好了,先到這里,看看另一個,

Buffer Pool

InnoDB還提供了快取,Buffer Pool 中包含了磁盤中部分資料頁的映射,作為訪問資料庫的緩沖:

  • 當讀取資料時,會先從Buffer Pool中讀取,如果Buffer Pool中沒有,則從磁盤讀取后放入Buffer Pool;
  • 當向資料庫寫入資料時,會首先寫入Buffer Pool,Buffer Pool中修改的資料會定期重繪到磁盤中,

Buffer Pool 的使用大大提高了讀寫資料的效率,但是也帶了新的問題:如果MySQL宕機,而此時 Buffer Pool 中修改的資料還沒有重繪到磁盤,就會導致資料的丟失,事務的持久性無法保證,

所以加入了 redo log,
當資料修改時,除了修改Buffer Pool中的資料,還會在redo log記錄這次操作;

當事務提交時,會呼叫fsync介面對redo log進行刷盤,

如果MySQL宕機,重啟時可以讀取redo log中的資料,對資料庫進行恢復,

redo log采用的是WAL(Write-ahead logging,預寫式日志),所有修改先寫入日志,再更新到Buffer Pool,保證了資料不會因MySQL宕機而丟失,從而滿足了持久性要求,
而且這樣做還有兩個優點:

  • 刷臟頁是隨機 IO,redo log 順序 IO
  • 刷臟頁以Page為單位,一個Page上的修改整頁都要寫;而redo log 只包含真正需要寫入的,無效 IO 減少,

binlog

說到這,可能會疑問還有個 bin log 也是寫操作并用于資料的恢復,有啥區別呢,

  • 層次:redo log 是 innoDB 引擎特有的,server 層的叫 binlog(歸檔日志)
  • 內容:redolog 是物理日志,記錄“在某個資料頁上做了什么修改”;binlog 是邏輯日志,是陳述句的原始邏輯,如“給 ID=2 這一行的 c 欄位加 1 ”
  • 寫入:redolog 回圈寫且寫入時機較多,binlog 追加且在事務提交時寫入
binlog 和 redo log

對于陳述句 update T set c=c+1 where ID=2;

  1. 執行器先找引擎取 ID=2 這一行,ID 是主鍵,直接用樹搜索找到,如果 ID = 2 這一行所在資料頁就在記憶體中,就直接回傳給執行器;否則,需要先從磁盤讀入記憶體,再回傳,
  2. 執行器拿到引擎給的行資料,把這個值加上 1,N+1,得到新的一行資料,再呼叫引擎介面寫入這行新資料,
  3. 引擎將這行新資料更新到記憶體中,同時將這個更新操作記錄到 redo log 里面,此時 redo log 處于 prepare 狀態,然后告知執行器執行完成了,隨時可以提交事務,
  4. 執行器生成這個操作的 binlog,并把 binlog 寫入磁盤,
  5. 執行器呼叫引擎的提交事務介面,引擎把剛剛寫入的 redo log 改成提交(commit)狀態,更新完成

為什么先寫 redo log 呢 ?

  • 先 redo 后 bin : binlog 丟失,少了一次更新,恢復后仍是0,
  • 先 bin 后 redo : 多了一次事務,恢復后是1,

一致性

一致性是事務追求的最終目標,前問所訴的原子性、持久性和隔離性,其實都是為了保證資料庫狀態的一致性,
當然,上文都是資料庫層面的保障,一致性的實作也需要應用層面進行保障,
也就是你的業務,比如購買操作只扣除用戶的余額,不減庫存,肯定無法保證狀態的一致,

總結

MySQL 都很熟, ACID 也知道是個啥,但 MySQL 的 ACID 怎么實作的?

有時候,就像你知道了有 undo log、redo log 但可能并不太清楚為什么有,當知道了設計的目的,了解起來就會更加清晰了,另外,關注公眾號Java技術堆疊,在后臺回復:面試,可以獲取我整理的 Java 系列面試題和答案,非常齊全,

參考:

https://zhuanlan.zhihu.com/p/52977862

https://learnku.com/articles/39212

https://www.cnblogs.com/rjzheng/p/10841031.html

https://www.cnblogs.com/kismetv/p/10331633.html

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2021最新版)

2.別在再滿屏的 if/ else 了,試試策略模式,真香!!

3.臥槽!Java 中的 xx ≠ null 是什么新語法?

4.Spring Boot 2.5 重磅發布,黑暗模式太炸了!

5.《Java開發手冊(嵩山版)》最新發布,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/301157.html

標籤:Java

上一篇:Java環境搭建與HelloWprld—改變世界的第一步

下一篇:Spring學習教程,spring框架最全面的原理決議

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more