MySQL日志模塊

目錄

一、簡介

二、redo log

三. binlog

四. 內部作業流程

MySql學習專欄

1. MySQL基礎架構詳解

2. MySQL索引底層資料結構與演算法

3. MySQL5.7開啟binlog日志，及資料恢復簡單示例

4. MySQL日志模塊

一、簡介

MySQL 有兩大重要的日志模塊：redo log（重做日志）和 binlog（歸檔日志），

redo log是InnoDB存盤引擎層的日志，binlog是MySQL Server層記錄的日志， 兩者都是記錄了某些操作的日志，但兩者記錄的格式不同，

二、redo log

redo log: 又稱（重做日志）檔案，用于記錄事務操作的變化，記錄的是資料修改之后的值，不管事務是否提交都會記錄下來，

在media failure時，redo log檔案就能派上用場，如資料庫掉電，InnoDB存盤引擎會使用redo log恢復到掉電前的時刻，以此來保證資料的完整性，

當有一條記錄需要更新的時候，InnoDB 引擎就會先把記錄寫到 redo log 里面，并更新記憶體，這個時候更新就算完成了，

InnoDB 引擎會在適當的時候，將這個操作記錄更新到磁盤里面，而這個更新一般是在系統比較空閑的時候完成的，以此來提升更新效率，

這里涉及到 WAL 即 Write-Ahead Logging 技術，他的關鍵點就是 先寫日志，再寫磁盤，

InnoDB 的 redo log 是固定大小的，比如可以配置為一組 4 個檔案，每個檔案的大小是 1GB，那么總共就可以記錄 4GB 的操作，

redo log會從頭開始寫，寫到末尾就又回到開頭回圈寫，如下圖所示，

write pos 是當前記錄的位置，一邊寫一邊后移，寫到第 3 號檔案末尾后就回到 0 號檔案開頭，

check point 是當前要擦除的位置，也是往后推移并且回圈的，擦除記錄前要把記錄更新到資料檔案，

write pos 和 check point 之間的是未使用的部分，可以用來記錄新的操作，

如果 write pos 追上 check point，表示redo log記錄滿了，這時候不能再執行新的更新，得停下來先擦掉一些記錄，把 check point 推進一下，

有了 redo log，InnoDB 就可以保證即使資料庫發生例外重啟，之前提交的記錄都不會丟失，這個能力稱為 crash-safe，

為什么要使用redo log日志？

假如我們對資料庫進行DML操作，直接把執行SQL寫入磁盤，當寫入并發較大時，對資料寫入磁盤的壓力會造成一定影響，

當我們插入操作是，發現當前非葉子節點一頁資料量不夠時，要進行分頁演算法，效率會比較低；

當我使用redo log日志，先把我們DML操作寫入日志，通過一個"中轉站",空閑時候再通過check point 寫入磁盤，效率會高很多；

MySQL設定Redo Log

• 寫入日innodb_log_buffer_size的大小：（默認8M）
• innodb_log_file_size 重做日志檔案的大小，
• innodb_log_files_in_group 指定重做日志檔案組中檔案的數量，默認2
• innodb_mirrored_log_groups 指定了日志鏡像檔案組的數量，默認1
• innodb_log_group_home_dir 指定日志檔案組所在的路徑，默認./,表示在資料庫的資料目錄下
• innodb_flush_log_at_trx_commit 設定commit時如何將log buffer中日志刷log file中 （值0、1、2）默認1

三. binlog

redo log 是 InnoDB 引擎特有的日志，而 Server 層也有自己的日志，稱為 binlog（歸檔日志），

為什么會有兩份日志呢？

因為最開始 MySQL 里并沒有 InnoDB 引擎，MySQL 自帶的引擎是 MyISAM，但是 MyISAM 沒有 crash-safe 的能力，binlog 日志只能用于歸檔，

而 InnoDB 是另一個公司以插件形式引入 MySQL 的，既然只依靠 binlog 是沒有 crash-safe 能力的，所以 InnoDB 使用另外一套日志系統——也就是 redo log 來實作 crash-safe 能力，

這兩種日志有以下三點不同，

• redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 層實作的，所有引擎都可以使用，
• redo log 是物理日志，記錄的是 "在某個資料頁上做了什么修改" ；binlog 是邏輯日志，記錄的是這個陳述句的原始邏輯，比如 "給 ID=2 這一行的 c 欄位加 1" ，
• redo log 是回圈寫的，空間固定會用完；binlog 是可以追加寫入的， "追加寫" 是指 binlog 檔案寫到一定大小后會切換到下一個，并不會覆寫以前的日志，

四. 內部作業流程

以一個表的更新陳述句為例，來看一下執行器和 InnoDB 引擎的內部作業流程：

mysql> update T set c=c+1 where ID=2;

如下圖所示，淺色框表示是在 InnoDB 內部執行的，深色框表示是在執行器中執行的：

• 執行器先找引擎取 ID=2 這一行，ID 是主鍵，引擎直接用樹搜索找到這一行，如果 ID=2 這一行所在的資料頁本來就在記憶體中，就直接回傳給執行器；否則，需要先從磁盤讀入記憶體，然后再回傳，
• 執行器拿到引擎給的行資料，把這個值加上 1，比如原來是 N，現在就是 N+1，得到新的一行資料，再呼叫引擎介面寫入這行新資料，
• 引擎將這行新資料更新到記憶體中，同時將這個更新操作記錄到 redo log 里面，此時 redo log 處于 prepare 狀態，然后告知執行器執行完成了，隨時可以提交事務，
• 執行器生成這個操作的 binlog，并把 binlog 寫入磁盤，
• 執行器呼叫引擎的提交事務介面，引擎把剛剛寫入的 redo log 改成提交（commit）狀態，更新完成，

最后三步看上去有點“繞”，將 redo log 的寫入拆成了兩個步驟：prepare 和 commit，其實這就是 "兩階段提交"，

為什么日志需要 "兩階段提交"？這里可以用反證法來進行解釋，

由于 redo log 和 binlog 是兩個獨立的邏輯，如果不用兩階段提交，要么就是先寫完 redo log 再寫 binlog，或者采用反過來的順序，用前面的 update 陳述句來做例子，我們看看這兩種方式會有什么問題，

假設當前 ID=2 的行，欄位 c 的值是 0，再假設執行 update 陳述句程序中在寫完第一個日志后，第二個日志還沒有寫完期間發生了 crash，會出現什么情況呢？

1. 先寫 redo log 后寫 binlog，假設在 redo log 寫完，binlog 還沒有寫完的時候，MySQL 行程例外重啟，redo log 寫完之后，系統即使崩潰，仍然能夠把資料恢復回來，所以恢復后這一行 c 的值是 1，

但是由于 binlog 沒寫完就 crash 了，這時候 binlog 里面就沒有記錄這個陳述句，因此，之后備份日志的時候，存起來的 binlog 里面就沒有這條陳述句，

然后你會發現，如果需要用這個 binlog 來恢復臨時庫的話，由于這個陳述句的 binlog 丟失，這個臨時庫就會少了這一次更新，恢復出來的這一行 c 的值就是 0，與原庫的值不同，

2. 先寫 binlog 后寫 redo log，如果在 binlog 寫完之后 crash，由于 redo log 還沒寫，崩潰恢復以后這個事務無效，所以這一行 c 的值是 0，

但是 binlog 里面已經記錄了“把 c 從 0 改成 1”這個日志，所以，在之后用 binlog 來恢復的時候就多了一個事務出來，恢復出來的這一行 c 的值就是 1，與原庫的值不同，

可以看到，如果不使用“兩階段提交”，那么資料庫的狀態就有可能和用它的日志恢復出來的庫的狀態不一致，

參考檔案

1. https://blog.csdn.net/j1231230/article/details/106601328