一文搞懂Redis持久化方式RDB&AOF

前言

Redis的性能好的特性很大程度上是由于將所有資料都存盤在了記憶體中，然而當 Redis 重啟后，所有存盤在記憶體中的資料就會丟失，在一些情況下，我們希望 Redis 在重啟后能保證資料不丟失，我們可以讓資料從記憶體中以某種形式同步到磁盤中，使得重啟后可以根據硬碟中的記錄恢復資料，這一程序就是持久化，

Redis支持兩種方式的持久化，一種是 RDB ，一種是 AOF，前者會根據指定的規則“定時”將記憶體中的資料存盤在磁盤上，而后者在每次執行命令后將命令本身記錄下來，兩種持久化方式可以單獨使用其中一種，但更多情況是兩者結合使用，

RDB

RDB方式的持久化是通過快照完成的，當符合一定條件時Redis會自動將記憶體中的所有資料生成一份副本并存盤在磁盤上，這個程序即為“快照”，Redis會在以下幾種情況下對資料進行快照：

• 根據配置規則進行自動快照
• SAVE 或者 BGSAVE 命令
• 執行 flushall 命令
• 執行復制時

載入 RDB 檔案的實際作業由 rdb.c/rdbLoad 函式完成，這個函式和 rdbSave 函式之間的關系如下圖所示，

資料快照的四種情況

1、根據配置規則進行自動快照

Redis允許用戶自定義快照條件，當符合快照條件時，Redis會自動執行快照操作，進行快照的條件可以由用戶在組態檔中自定義，由兩個引數構成：時間視窗M 和 改動的鍵的個數N，每當時間M內被更改的鍵的個數大于N時，即符合自動快照條件，例如：

• save 900 1
• save 300 10
• save 60 10000

可以同時存在多個條件，條件之間是“或”的關系，就這個例子，save 900 1 表示在 900s 內有一個或一個以上的鍵被更改則進行快照，

2、SAVE / BGSAVE 命令

除了讓 Redis自動除了讓Redis自動進行快照外，當進行服務重啟、手動遷移以及備份時我們也會需要手動執行快照操作，Redis提供了兩個命令來完成這一任務，

1. SAVE命令

當執行SAVE命令時，Redis同步地進行快照操作，在快照執行的程序中會阻塞所有來自客戶端的請求，當資料庫中的資料比較多時，這一程序會導致Redis較長時間不回應，所以要盡量避免在生產環境中使用這一命令，

2. BGSAVE命令

需要手動執行快照時推薦使用BGSAVE命令，BGSAVE命令可以在后臺異步地進行快照操作，快照的同時服務器還可以繼續回應來自客戶端的請求，執行BGSAVE后Redis會立即回傳OK表示開始執行快照操作，如果想知道快照是否完成，可以通過LASTSAVE命令獲取最近一次成功執行快照的時間，回傳結果是一個時間戳，如:

redis> LASTSAVE
( integer) 1423537869

因為 BGSAVE 命令的保存作業是由子行程執行的，所以在子行程創建RDB檔案的程序中，Redis服務器仍然可以繼續處理客戶端的命令請求，但是，在 BGSAVE 命令執行期間，服務器處理 SAVE，BGSAVE，BGREWRITEAOF 這三個命令的方式會和平時有所不同，（其中，BGREWRITEAOF 命令是AOF重寫命令，文章后面會進行介紹）

在BGSAVE 命令執行期間，SAVE命令和 BGSAVE 命令都會被服務器拒絕，服務器禁止 SAVE命令和 BGSAVE 或者 兩個 BGSAVE 命令同時執行是為了避免父行程（服務器行程）和子行程同時執行兩個 rdbSave呼叫，防止產生競爭條件，

在BGSAVE 命令執行期間也不能執行 BGREWRITEAOF 命令：

• 如果 BGSAVE 命令正在執行，那么客戶端發送的 BGREWRITEAOF 命令會被延遲到 BGSAVE命令執行完畢之后執行，
• 如果 BGREWRITEAOF 命令正在執行，那么客戶端發送的 BGSAVE 命令會被服務器拒絕

因為BGSAVE 和 BGREWRITEAOF 命令的實際作業都由子行程執行，所以這兩個命令在操作方面并沒有什么沖突的地方，不能同時執行它們只是性能方面的考慮，這兩個子行程都需要執行大量的磁盤寫入操作，所以，要避免二者同時執行，

3、執行 FLUSHALL 命令

當執行FLUSHALL命令時，Redis 會清除資料庫中的所有資料，需要注意的是，不論清空資料庫的程序是否觸發了自動快照條件，只要自動快照條件不為空，Redis就會執行一次快照操作，例如，當定義的快照條件為當 1 秒內修改 10000 個鍵時進行自動快照，而當資料庫里只有一個鍵時，執行FLUSHALL命令也會觸發快照，即使這一程序實際上只有一個鍵被修改了，

當沒有定義自動快照條件時，執行 FLUSHALL 則不會進行快照，

4、執行復制時

當設定了主從模式時，Redis 會在復制初始化時進行自動快照，即使沒有定義自動快照條件，并且沒有手動執行過快照操作，也會生成 RDB快照檔案，

RDB檔案結構

服務器在啟動時，可以通過載入和執行 AOF 檔案中保存的命令來還原服務器關閉之前的資料庫狀態，

AOF持久化實作

AOF持久化功能的實作可以分為命令追加（append），檔案寫入，檔案同步（sync）三個步驟，

命令追加

當 AOF 持久化功能處于打開狀態時，服務器在執行完一個寫命令后，會以協議格式將被執行的寫命令追加到服務器狀態的 aof_buf緩沖區的末尾，

檔案寫入與同步

Redis服務器行程是一個事件回圈，這個回圈中的檔案事件負責接收客戶端的命令請求，以及向客戶端發送命令回復，而時間事件則負責執行像 serverCron 函式這樣需要定時運行的函式，

為了提高檔案的寫入效率，在現代作業系統中，當用戶呼叫write函式，將一些資料寫入到檔案的時候，作業系統通常會將寫入資料暫時保存在一個記憶體緩沖區里面,等到緩沖區的空間被填滿、或者超過了指定的時限之后，才真正地將緩沖區中的資料寫入到磁盤里面，

這種做法雖然提高了效率，但也為寫入資料帶來了安全問題，因為如果計算機發生停機，那么保存在記憶體緩沖區里面的寫入資料將會丟失，

為此，系統提供了fsync和fdatasync兩個同步函式，它們可以強制讓作業系統立即將緩沖區中的資料寫入到硬碟里面，從而確保寫入資料的安全性，

AOF檔案的載入與資料還原

因為AOF檔案里面包含了重建資料庫狀態所需的所有寫命令，所以服務器只要讀入并重新執行一遍AOF 檔案里面保存的寫命令，就可以還原服務器關閉之前的資料庫狀態，

Redis讀取AOF檔案并還原資料庫狀態的詳細步驟如下:

• 創建一個不帶網路連接的偽客戶端：因為 Redis 的命令只能在客戶端背景關系中執行，而載入AOF檔案時使用的命令直接來源于AOF檔案而不是網路連接，所以服務器使用了一個沒有網路連接的偽客戶端來執行AOF檔案保存的寫命令，偽客戶端執行命令的效果和帶網路連接的客戶端執行命令的效果完全一樣，
• 從AOF檔案中分析并讀取出一條寫命令
• 使用偽客戶端執行被讀出的寫命令
• 一直執行步驟2和步驟3，直到AOF檔案中的所有寫命令都被處理完畢為止

當完成以上步驟之后，AOF檔案所保存的資料庫狀態就會被完整地還原出來，整個程序如圖所示，

AOF重寫

因為AOF持久化是通過保存被執行的寫命令來記錄資料庫狀態的，所以隨著服務器運行時間的流逝，AOF檔案中的內容會越來越多，檔案的體積也會越來越大，如果不加以控制的話，體積過大的AOF檔案很可能對Redis服務器、甚至整個宿主計算機造成影響，并且AOF檔案的體積越大，使用AOF檔案來進行資料還原所需的時間就越多，

如果，對一個key進行了多次 set操作，那AOF檔案中就要保存很多次set命令，為了解決AOF檔案體積膨脹的問題，Redis提供了AOF檔案重寫功能，通過該功能，Redis服務器可以創建一個新的AOF檔案代替現有的AOF檔案，新舊兩個AOF檔案所保存的資料庫狀態相同，但新AOF檔案不會包含任何浪費空間的冗余命令，所以新的AOF檔案的體積通常比舊AOF檔案要小很多，

實際上，AOF檔案重寫不需要對舊AOF檔案進行讀取、分析或者寫入操作，這個功能是通過讀取服務器當前的資料庫狀態來實作的，

例如服務器為了保存一個 list 鍵的狀態，必須在AOF檔案中寫入很多set命令，如果想要用最少的命令記錄當前狀態，最簡單高效的方法不是讀取和分析現有的AOF檔案，而是直接從資料庫中讀取此 list 的值，然后用一條 set 命令來代替保存AOF檔案的很多命令，

上面介紹的AOF重寫程式aof_rewrite函式可以很好地完成創建一個新AOF檔案的任務，但是，因為這個函式會進行大量的寫入操作，所以呼叫這個函式的執行緒將被長時間阻塞,因為Redis服務器使用單個執行緒來處理命令請求，所以如果由服務器直接呼叫aof_rewrite函式，那么在重寫AOF檔案期間，服務器將無法處理客戶端發來的命令請求，

所以，Redis決定將AOF重寫程式放到子行程里執行，這樣做可以同時達到兩個目的：

• 子行程AOF重寫期間，服務器行程可以繼續處理命令請求
• 子行程帶有服務器行程的資料副本，使用子行程而不是執行緒，避免在使用鎖的情況下，保證資料的安全性

不過，使用子行程也有一個問題需要解決，因為子行程在進行AOF重寫期間，服務器行程還需要繼續處理命令請求，而新的命令可能會對現有的資料庫狀態進行修改，從而使得服務器當前的資料庫狀態和重寫后的AOF檔案所保存的資料庫狀態不一致，

為了解決這種資料不一致問題，Redis服務器設定了一個AOF重寫緩沖區，這個緩沖區在服務器創建子行程之后開始使用，當Redis服務器執行完一個寫命令之后，它會同時將這個寫命令發送給AOF緩沖區和AOF重寫緩沖區

這也就是說，在子行程執行AOF重寫期間，服務器行程需要執行以下三個作業:

(1) 執行客戶端發來的命令

(2) 將執行后的寫命令追加到AOF緩沖區

(3) 將執行后的寫命令追加到AOF重寫緩沖區，

標籤：其他

上一篇：Redis Client 之 Jedis與Lettuce

下一篇：博客專案總結