MySQL四種日志binlog/redolog/relaylog/undolog-有解無憂

優質博文：IT-BLOG-CN

一、binlog

binlog記錄資料庫表結構和表資料變更，比如update/delete/insert/truncate/create，它不會記錄select，存盤著每條變更的SQL陳述句和XID事務Id等等，binlog日志檔案如下：

[[email protected]]# mysqlbinlog mysql-binlog.0000012
..........
# at 523
# 168654 20:22:43 server id 1 end_log_pos 843 Query thread_id=3 exec_time=0 error_code=0
SET TIMESTAMP=156521934/*!*/;
INSERT INTO student('name','age','sex') VALUES('ZZX',20,'1');  # 執行的SQL陳述句
/*!*/;
# at 669
#168654 20:22:45 server id 1 end_log_pos 876 Xid = 12              #執行的時間和事務ID

主要有兩個作用：復制和恢復資料
【1】MySQL架構為了高可用性都是一主多從，從服務器需要與主服務器保持資料一致，這就是通過binlog進行復制；
【2】資料庫的資料如果被誤刪，可以通過binlog資料進行恢復，

因為binlog記錄了資料庫表的邏輯變更，所以可以用binlog進行主從復制和恢復資料，

二、redo log

MySQL執行SQL修改陳述句時，肯定是先把這條記錄查出來，然后再將這條進行進行修改，因為Mysql的基本存盤結構是頁，記錄都存在頁里邊，所以MySQL是先把這條記錄所在的頁找到，然后把該頁加載到記憶體中，將對應記錄進行修改，現在就可能存在一個問題：如果在記憶體中把資料改了，還沒來得及落磁盤，而此時的資料庫掛了，導致這次修改丟失了怎么辦？

如果每個請求都需要將資料立馬同步到磁盤，那速度會很慢，MySQL可能也頂不住，所以MySQL引入了redo log，記憶體寫完了，然后會寫一份redo log，這份redo log記載著這次在某個頁上做了什么修改，

寫redo log的時候，也會有buffer，是先寫buffer，再真正落到磁盤中的，至于從buffer什么時候落磁盤，會有配置供我們配置，

寫redo log也是需要寫磁盤的，但它的好處就是順序IO（我們都知道順序IO比隨機IO快非常多），

所以，redo log的存在為了：當我們修改的時候，寫完記憶體了，但資料還沒真正寫到磁盤的時候，此時我們的資料庫掛了，我們可以根據redo log來對資料進行恢復，因為redo log是順序IO，所以寫入的速度很快，并且redo log記載的是物理變化（x頁做了y修改），檔案的體積很小，恢復速度很快，

三、binlog與redolog的區別

兩個日志較為相似，這里總結下兩者的主要區別：
【1】存盤內容不同： binlog記載的是update/delete/insert這樣的SQL陳述句，而redo log記載的是物理修改的內容（x頁修改了y），redo log記錄的是資料的物理變化，binlog記錄的是資料的邏輯變化，

【2】功能： redo log的作用是為持久化而生的，寫完記憶體，如果資料庫掛了，那我們可以通過redo log來恢復記憶體還沒來得及刷到磁盤的資料，將redo log加載到記憶體里邊，那記憶體就能恢復到掛掉之前的資料了，
binlog的作用是復制和恢復而生的，主從服務器需要保持資料的一致性，通過binlog來同步資料，如果整個資料庫的資料都被洗掉了，binlog存盤著所有的資料變更情況，那么可以通過binlog來對資料進行恢復，

如果整個資料庫的資料都被洗掉了，那我可以用redo log的記錄來恢復嗎？
不能，因為功能的不同，redo log 存盤的是物理資料的變更，如果我們記憶體的資料已經刷到了磁盤了，那redo log的資料就無效了，所以redo log不會存盤著歷史所有資料的變更，檔案的內容會被覆寫的，

【3】寫入細節不同： redo log是MySQL的InnoDB引擎所產生的，binlog無論MySQL任何引擎都會有的，
InnoDB是有事務的，事務的四大特性之一：持久性就是靠redo log來實作的（如果寫入記憶體成功，但資料還沒真正刷到磁盤，如果此時的資料庫掛了，我們可以靠redo log來恢復記憶體的資料，這就實作了持久性），

上面也提到，在修改的資料的時候，binlog會記載著變更的類容，redo log也會記載著變更的內容，（只不過一個存盤的是物理變化，一個存盤的是邏輯變化），那他們的寫入順序是什么樣的呢？

redo log事務開始的時候，就開始記錄每次的變更資訊，而binlog是在事務提交的時候才記錄，

于是新有的問題又出現了：我寫其中的某一個log，失敗了，那會怎么辦？現在我們的前提是先寫redo log，再寫binlog，我們來看看：
? ■ 如果寫redo log失敗了，那我們就認為這次事務有問題，回滾，不再寫binlog，
? ■ 如果寫redo log成功了，寫binlog，寫binlog寫一半了，但失敗了怎么辦？我們還是會對這次的事務回滾，將無效的binlog給洗掉（因為binlog會影響從庫的資料，所以需要做洗掉操作）
? ■ 如果寫redo log和binlog都成功了，那這次算是事務才會真正成功，

簡單來說：MySQL需要保證redo log和binlog的資料是一致的，如果不一致，那就亂套了，
? ■ 如果redo log寫失敗了，而binlog寫成功了，那假設記憶體的資料還沒來得及落磁盤，機器就掛掉了，那主從服務器的資料就不一致了，（從服務器通過binlog得到最新的資料，而主服務器由于redo log沒有記載，沒法恢復資料）
? ■ 如果redo log寫成功了，而binlog寫失敗了，那從服務器就拿不到最新的資料了，

MySQL通過兩階段提交來保證redo log和binlog的資料是一致的，

階段1：InnoDB redo log寫盤，InnoDB事務進入prepare狀態
階段2：binlog寫盤，InooDB事務進入commit狀態

每個事務binlog的末尾，會記錄一個XID event，標志著事務是否提交成功，也就是說，恢復程序中，binlog最后一個XID event之后的內容都應該被purge，

如果binlog沒有正常關閉，mysql server可能crash過，我們需要呼叫MYSQL_BIN_LOG::recover:找到最后一個XID完成最后一次事務的兩階段提交InnoDB commit，因此，需要遍歷binlog檔案，找到最后一個合法event集合，并purge無效binlog

四、relay-log

從服務器I/O執行緒將主服務器的二進制日志讀取過來記錄到從服務器本地檔案，然后從服務器SQL執行緒會讀取relay-log日志的內容并應用到從服務器，從而使從服務器和主服務器的資料保持一致

show variables like '%relay%';
 
#結果
+---------------------------+----------------------------------+
| Variable_name             | Value                            |
+---------------------------+----------------------------------+
| max_relay_log_size        | 0                                |
| relay_log                 | relay-mysql                      |
| relay_log_basename        | /var/lib/mysql/relay-mysql       |
| relay_log_index           | /var/lib/mysql/relay-mysql.index |
| relay_log_info_file       | relay-log.info                   |
| relay_log_info_repository | FILE                             |
| relay_log_purge           | ON                               |
| relay_log_recovery        | ON                               |
| relay_log_space_limit     | 0                                |
| sync_relay_log            | 10000                            |
| sync_relay_log_info       | 10000                            |
+---------------------------+----------------------------------+

max_relay_log_size：relay log允許的最大值，如果該值為0，則默認值為max_binlog_size (1G)，如果不為0，則max_relay_log_size則為最大的relay_log檔案大小；

relay_log: 定義relay_log的位置和名稱，如果值為空，則默認位置在資料檔案的目錄；

relay_log_index：定義relay_log索引的位置和名稱，記錄有幾個relay_log檔案，默認為2個

cat /var/lib/mysql/relay-mysql.index
 
#結果
./relay-mysql.000241
./relay-mysql.000242

relay_log_info_file：定義relay-log.info的位置和名稱，relay-log.info記錄master主庫的binary_log的恢復位置和從庫relay_log的位置；

[root@localhost ~]# cat /var/lib/mysql/relay-log.info
 
#結果
7
./relay-mysql.000242
19421766
mysql-bin.000094
34300252
0
0
1

relay_log_purge：是否自動清空中繼日志，默認值為1(啟用)；

relay_log_recovery：
當slave從庫宕機后，假如relay-log損壞了，導致一部分中繼日志沒有處理，則自動放棄所有未執行的relay-log，并且重新從master上獲取日志，這樣就保證了relay-log的完整性，默認情況下該功能是關閉的，將relay_log_recovery的值設定為1時，可在slave從庫上開啟該功能，建議開啟；

sync_relay_log：當設定為1時，slave的I/O執行緒每次接收到master發送過來的binlog日志都要寫入系統緩沖區，然后刷入relay log中繼日志里，這樣是最安全的，因為在崩潰的時候，你最多會丟失一個事務，但會造成磁盤的大量I/O，當設定為0時，并不是馬上就刷入中繼日志里，而是由作業系統決定何時來寫入，雖然安全性降低了，但減少了大量的磁盤I/O操作，這個值默認是0，可動態修改；

sync_relay_log_info：這個引數和sync_relay_log引數一樣，

五、undo log

undo log主要有兩個作用：回滾和多版本控制MVCC

在資料修改的時候，不僅記錄了redo log，還記錄undo log，如果因為某些原因導致事務失敗或回滾了，可以用undo log進行回滾

undo log主要存盤的也是邏輯日志，比如我們要insert一條資料了，那undo log會記錄的一條對應的delete日志，我們要update一條記錄時，它會記錄一條對應相反的update記錄，

這也應該容易理解，畢竟回滾嘛，跟需要修改的操作相反就好，這樣就能達到回滾的目的，因為支持回滾操作，所以我們就能保證：“一個事務包含多個操作，這些操作要么全部執行，要么全都不執行”，【原子性】

因為undo log存盤著修改之前的資料，相當于一個前版本，MVCC實作的是讀寫不阻塞，讀的時候只要回傳前一個版本的資料就行了，

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/549192.html

標籤：其他

上一篇：讀SQL進階教程筆記08_處理數列

下一篇：mysql精確查年齡