02_重要的兩個日志 redo log 和 binlog

MySQL 45 講Note：

課程專欄名稱：《MySQL實戰45講》課程

筆記參考：MYSQL45 講

想要理解這兩個日志 redo log 和 binlog ；我們需要對MySQL 的備份恢復機制有一個基本的了解，

之前你可能經常聽 DBA 同事說，MySQL 可以恢復到半個月內任意一秒的狀態，帶著好奇的態度，這是怎樣做到的呢？

如果你使用的是 ? InnoDB 引擎，那么一般我們會使用 物理日志 redo log 和邏輯日志 binlog 來進行備份恢復，

redo log 是物理日志，記錄的是“在某個資料頁上做了什么修改”；binlog 是邏輯日志，記錄的是這個陳述句的原始邏輯，比如“給 ID=2 這一行的 c 欄位加 1 ”，

?

一條SQL更新陳述句如何執行

在講述日志內容之前，我們先回顧一下查詢陳述句的執行程序：

一條查詢陳述句的執行程序一般是經過連接器、分析器、優化器、執行器等功能模塊，最后到達存盤引擎，

在Mysql 執行更新陳述句的時候，查詢陳述句的那一套流程，更新陳述句也是同樣會走一遍，

與查詢流程不一樣的是，更新流程還涉及兩個重要的日志模塊，它們正是我們今天要討論的主角：redo log（重做日志）和 binlog（歸檔日志），

?

?

日志模塊：redo log

粉板和賬本

redo log 的機制，我們可以先看一下孔乙己中酒店掌柜記賬的方式，

《孔乙己》這篇文章中的酒店掌柜有一個粉板，專門用來記錄客人的賒賬記錄，如果賒賬的人不多，那么他可以把顧客名和賬目寫在板上，但如果賒賬的人多了，粉板總會有記不下的時候，這個時候掌柜一定還有一個專門記錄賒賬的賬本，

如果有人要賒賬或者還賬的話，掌柜一般有兩種做法：

• 一種做法是直接把賬本翻出來，把這次賒的賬加上去或者扣除掉；
• 另一種做法是先在粉板上記下這次的賬，等打烊以后再把賬本翻出來核算，

在生意紅火柜臺很忙時，掌柜一定會選擇后者，因為前者操作實在是太麻煩了，首先，你得找到這個人的賒賬總額那條記錄，你想想，密密麻麻幾十頁，掌柜要找到那個名字，可能還得帶上老花鏡慢慢找，找到之后再拿出算盤計算，最后再將結果寫回到賬本上，

粉板和賬本配合的整個程序，就是 MySQL 里經常說到的 WAL 技術，WAL 的全稱是 Write-Ahead Logging，它的關鍵點就是先寫日志，再寫磁盤，也就是先寫粉板，等不忙的時候再寫賬本，[先寫記憶體，再寫磁盤]

具體來說，當有一條記錄需要更新的時候，InnoDB 引擎就會先把記錄寫到 redo log（粉板）里面，并更新記憶體，這個時候更新就算完成了，

同時，InnoDB 引擎會在適當的時候，將這個操作記錄更新到磁盤里面，而這個更新往往是在系統比較空閑的時候做，這就像打烊以后掌柜做的事，

操作流程

InnoDB 的 redo log 是固定大小的，比如可以配置為一組 4 個檔案，每個檔案的大小是 1GB，那么這塊“粉板”總共就可以記錄 4GB 的操作，從頭開始寫，寫到末尾就又回到開頭回圈寫，如下面所示，

??

里面有一個 write pos 和 check point 的概念：

write pos 是當前記錄的位置，一邊寫一邊后移，寫到第 3 號檔案末尾后就回到 0 號檔案開頭，

checkpoint 是當前要擦除的位置，也是往后推移并且回圈的，擦除記錄前要把記錄更新到資料檔案，

write pos 和 checkpoint 之間的是“粉板”上還空著的部分，可以用來記錄新的操作，如果 write pos 追上 checkpoint，表示“粉板”滿了，這時候不能再執行新的更新，得停下來先擦掉一些記錄，把 checkpoint 推進一下，

有了 redo log，InnoDB 就可以保證即使資料庫發生例外重啟，之前提交的記錄都不會丟失，這個能力稱為crash-safe，

?

crash-safe

crash-safe 是指在MySQL資料庫發生例外崩潰時，資料庫能夠保證資料的完整性和一致性，從而避免資料丟失或資料損壞的情況，

redo log 用于保證 crash-safe 能力，

• innodb_flush_log_at_trx_commit 這個引數設定成 1 的時候，表示每次事務的 redo log 都直接持久化到磁盤，這個引數我建議你設定成 1，這樣可以保證 MySQL 例外重啟之后資料不丟失，
• sync_binlog 這個引數設定成 1 的時候，表示每次事務的 binlog 都持久化到磁盤，這個引數我也建議你設定成 1，這樣可以保證 MySQL 例外重啟之后 binlog 不丟失，

?

日志模塊：binlog

上面聊到的粉板 redo log 是 InnoDB 引擎特有的日志，而 Server 層也有自己的日志，稱為 binlog（歸檔日志），

redo log 是 InnoDB ?兩種日志有以下三點不同：

1. redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 層實作的，所有引擎都可以使用，
2. redo log 是物理日志，記錄的是“在某個資料頁上做了什么修改”；binlog 是邏輯日志，記錄的是這個陳述句的原始邏輯，比如“給 ID=2 這一行的 c 欄位加 1 ”，
3. redo log 是回圈寫的，空間固定會用完；binlog 是可以追加寫入的，“追加寫”是指 binlog 檔案寫到一定大小后會切換到下一個，并不會覆寫以前的日志，

?

update 陳述句內部執行流程

• 有了對這兩個日志的概念性理解，我們再來看執行器和 InnoDB 引擎在執行這個簡單的 update 陳述句時的內部流程，

  1. 執行器先找引擎取 ID=2 這一行，ID 是主鍵，引擎直接用樹搜索找到這一行，如果 ID=2 這一行所在的資料頁本來就在記憶體中，就直接回傳給執行器；否則，需要先從磁盤讀入記憶體，然后再回傳，
  2. 執行器拿到引擎給的行資料，把這個值加上 1，比如原來是 N，現在就是 N+1，得到新的一行資料，再呼叫引擎介面寫入這行新資料，
  3. 引擎將這行新資料更新到記憶體中，同時將這個更新操作記錄到 redo log 里面，此時 redo log 處于 prepare 狀態，然后告知執行器執行完成了，隨時可以提交事務，
  4. 執行器生成這個操作的 binlog，并把 binlog 寫入磁盤，
  5. 執行器呼叫引擎的提交事務介面，引擎把剛剛寫入的 redo log 改成提交（commit）狀態，更新完成，

update 陳述句的執行流程圖，圖中淺色框表示是在 InnoDB 內部執行的，深色框表示是在執行器中執行，

??

?

?

兩階段提交

你可能注意到了，最后三步看上去有點“繞”，將 redo log 的寫入拆成了兩個步驟：prepare 和 commit，這就是"兩階段提交"，

兩階段提交操作是為了讓兩份日志之間的邏輯一致; ?

兩階段提交的具體操作和不使用“兩階段提交”會發生的內容（反證證明需要兩階段提交操作），

更新操作的兩階段提交

• 當一條SQL陳述句執行時，如果需要修改InnoDB表的資料，那么會先將修改操作記錄在redo log中，然后再將資料修改到記憶體中，【redo log處于 Prepare狀態】
• 之后執行器會生成這個操作的binlog，并把 binlog 寫入磁盤
• 當事務提交時，redo log會被刷入磁盤，保證資料的持久化，【執行器呼叫引擎的提交事務介面，引擎把剛剛寫入的 redo log 改成提交（commit）狀態，更新完成，】

如果不使用“兩階段提交”，那么資料庫的狀態就有可能和用它的日志恢復出來的庫的狀態不一致

1. 先寫 redo log 后寫 binlog，

   1. 假設在 redo log 寫完，binlog 還沒有寫完的時候，MySQL 行程例外重啟，由于我們前面說過的，redo log 寫完之后，系統即使崩潰，仍然能夠把資料恢復回來，所以恢復后這一行 c 的值是 1， 但是由于 binlog 沒寫完就 crash 了，這時候 binlog 里面就沒有記錄這個陳述句，因此，之后備份日志的時候，存起來的 binlog 里面就沒有這條陳述句，
   2. 然后你會發現，如果需要用這個 binlog 來恢復臨時庫的話，由于這個陳述句的 binlog 丟失，這個臨時庫就會少了這一次更新，恢復出來的這一行 c 的值就是 0，與原庫的值不同，

2. 先寫 binlog 后寫 redo log，

   1. 如果在 binlog 寫完之后 crash，由于 redo log 還沒寫，崩潰恢復以后這個事務無效，所以這一行 c 的值是 0，但是 binlog 里面已經記錄了“把 c 從 0 改成 1”這個日志，
   2. 所以，在之后用 binlog 來恢復的時候就多了一個事務出來，恢復出來的這一行 c 的值就是 1，與原庫的值不同，

怎樣讓資料庫恢復到半個月內任意一秒的狀態？

binlog 會記錄所有的邏輯操作，并且是采用“追加寫”的形式，如果你的 DBA 承諾說半個月內可以恢復，那么備份系統中一定會保存最近半個月的所有 binlog，同時系統會定期做整庫備份，這里的“定期”取決于系統的重要性，可以是一天一備，也可以是一周一備，

當需要恢復到指定的某一秒時，比如某天下午兩點發現中午十二點有一次誤刪表，需要找回資料，那你可以這么做：

• 首先，找到最近的一次全量備份，如果你運氣好，可能就是昨天晚上的一個備份，從這個備份恢復到臨時庫；
• 然后，從備份的時間點開始，將備份的 binlog 依次取出來，重放到中午誤刪表之前的那個時刻，

這樣你的臨時庫就跟誤刪之前的線上庫一樣了，然后你可以把表資料從臨時庫取出來，按需要恢復到線上庫去，

?

?

小結

redo log 用于保證 crash-safe 能力，可以保證 MySQL 例外重啟之后資料不丟失，

兩階段提交是跨系統維持資料邏輯一致性時常用的一個方案，

通過 binlog 日志的備份檔案將資料恢復到臨時庫，從臨時庫的資料按需恢復資料，

標籤：其他

上一篇：Redis(一) -- 基礎

下一篇：返回列表