主頁 > 資料庫 > Redis 持久化

Redis 持久化

2020-10-31 01:32:43 資料庫

中文官方檔案地址:http://www.redis.cn/topics/persistence.html

Redis 持久化

Redis 提供了不同級別的持久化方式:

  • RDB持久化方式能夠在指定的時間間隔能對你的資料進行快照存盤.
  • AOF持久化方式記錄每次對服務器寫的操作,當服務器重啟的時候會重新執行這些命令來恢復原始的資料,AOF命令以redis協議追加保存每次寫的操作到檔案末尾.Redis還能對AOF檔案進行后臺重寫,使得AOF檔案的體積不至于過大.
  • 如果你只希望你的資料在服務器運行的時候存在,你也可以不使用任何持久化方式.
  • 你也可以同時開啟兩種持久化方式, 在這種情況下, 當redis重啟的時候會優先載入AOF檔案來恢復原始的資料,因為在通常情況下AOF檔案保存的資料集要比RDB檔案保存的資料集要完整.
  • 最重要的事情是了解RDB和AOF持久化方式的不同,讓我們以RDB持久化方式開始:

RDB的優點

  • RDB是一個非常緊湊的檔案,它保存了某個時間點得資料集,非常適用于資料集的備份,比如你可以在每個小時報保存一下過去24小時內的資料,同時每天保存過去30天的資料,這樣即使出了問題你也可以根據需求恢復到不同版本的資料集.
  • RDB是一個緊湊的單一檔案,很方便傳送到另一個遠端資料中心或者亞馬遜的S3(可能加密),非常適用于災難恢復.
  • RDB在保存RDB檔案時父行程唯一需要做的就是fork出一個子行程,接下來的作業全部由子行程來做,父行程不需要再做其他IO操作,所以RDB持久化方式可以最大化redis的性能.
  • 與AOF相比,在恢復大的資料集的時候,RDB方式會更快一些.

RDB的缺點

  • 如果你希望在redis意外停止作業(例如電源中斷)的情況下丟失的資料最少的話,那么RDB不適合你.雖然你可以配置不同的save時間點(例如每隔5分鐘并且對資料集有100個寫的操作),是Redis要完整的保存整個資料集是一個比較繁重的作業,你通常會每隔5分鐘或者更久做一次完整的保存,萬一在Redis意外宕機,你可能會丟失幾分鐘的資料.
  • RDB 需要經常fork子行程來保存資料集到硬碟上,當資料集比較大的時候,fork的程序是非常耗時的,可能會導致Redis在一些毫秒級內不能回應客戶端的請求.如果資料集巨大并且CPU性能不是很好的情況下,這種情況會持續1秒,AOF也需要fork,但是你可以調節重寫日志檔案的頻率來提高資料集的耐久度.

 

AOF 優點

 

  • 使用AOF 會讓你的Redis更加耐久: 你可以使用不同的fsync策略:無fsync,每秒fsync,每次寫的時候fsync.使用默認的每秒fsync策略,Redis的性能依然很好(fsync是由后臺執行緒進行處理的,主執行緒會盡力處理客戶端請求),一旦出現故障,你最多丟失1秒的資料.
  • AOF檔案是一個只進行追加的日志檔案,所以不需要寫入seek,即使由于某些原因(磁盤空間已滿,寫的程序中宕機等等)未執行完整的寫入命令,你也也可使用redis-check-aof工具修復這些問題.
  • Redis 可以在 AOF 檔案體積變得過大時,自動地在后臺對 AOF 進行重寫: 重寫后的新 AOF 檔案包含了恢復當前資料集所需的最小命令集合, 整個重寫操作是絕對安全的,因為 Redis 在創建新 AOF 檔案的程序中,會繼續將命令追加到現有的 AOF 檔案里面,即使重寫程序中發生停機,現有的 AOF 檔案也不會丟失, 而一旦新 AOF 檔案創建完畢,Redis 就會從舊 AOF 檔案切換到新 AOF 檔案,并開始對新 AOF 檔案進行追加操作,
  • AOF 檔案有序地保存了對資料庫執行的所有寫入操作, 這些寫入操作以 Redis 協議的格式保存, 因此 AOF 檔案的內容非常容易被人讀懂, 對檔案進行分析(parse)也很輕松, 匯出(export) AOF 檔案也非常簡單: 舉個例子, 如果你不小心執行了 FLUSHALL 命令, 但只要 AOF 檔案未被重寫, 那么只要停止服務器, 移除 AOF 檔案末尾的 FLUSHALL 命令, 并重啟 Redis , 就可以將資料集恢復到 FLUSHALL 執行之前的狀態,

 

AOF 缺點

 

  • 對于相同的資料集來說,AOF 檔案的體積通常要大于 RDB 檔案的體積,
  • 根據所使用的 fsync 策略,AOF 的速度可能會慢于 RDB , 在一般情況下, 每秒 fsync 的性能依然非常高, 而關閉 fsync 可以讓 AOF 的速度和 RDB 一樣快, 即使在高負荷之下也是如此, 不過在處理巨大的寫入載入時,RDB 可以提供更有保證的最大延遲時間(latency),

 

如何選擇使用哪種持久化方式?

 

一般來說, 如果想達到足以媲美 PostgreSQL 的資料安全性, 你應該同時使用兩種持久化功能,

如果你非常關心你的資料, 但仍然可以承受數分鐘以內的資料丟失, 那么你可以只使用 RDB 持久化,

有很多用戶都只使用 AOF 持久化, 但我們并不推薦這種方式: 因為定時生成 RDB 快照(snapshot)非常便于進行資料庫備份, 并且 RDB 恢復資料集的速度也要比 AOF 恢復的速度要快, 除此之外, 使用 RDB 還可以避免之前提到的 AOF 程式的 bug ,

Note: 因為以上提到的種種原因, 未來我們可能會將 AOF 和 RDB 整合成單個持久化模型, (這是一個長期計劃,) 接下來的幾個小節將介紹 RDB 和 AOF 的更多細節,

快照

在默認情況下, Redis 將資料庫快照保存在名字為 dump.rdb的二進制檔案中,你可以對 Redis 進行設定, 讓它在“ N 秒內資料集至少有 M 個改動”這一條件被滿足時, 自動保存一次資料集,你也可以通過呼叫 SAVE或者 BGSAVE , 手動讓 Redis 進行資料集保存操作,

比如說, 以下設定會讓 Redis 在滿足“ 60 秒內有至少有 1000 個鍵被改動”這一條件時, 自動保存一次資料集:

save 60 1000

這種持久化方式被稱為快照 snapshotting.

作業方式

當 Redis 需要保存 dump.rdb 檔案時, 服務器執行以下操作:

  • Redis 呼叫forks. 同時擁有父行程和子行程,
  • 子行程將資料集寫入到一個臨時 RDB 檔案中,
  • 當子行程完成對新 RDB 檔案的寫入時,Redis 用新 RDB 檔案替換原來的 RDB 檔案,并洗掉舊的 RDB 檔案,

這種作業方式使得 Redis 可以從寫時復制(copy-on-write)機制中獲益,

只追加操作的檔案(Append-only file,AOF)

快照功能并不是非常耐久(dura ble): 如果 Redis 因為某些原因而造成故障停機, 那么服務器將丟失最近寫入、且仍未保存到快照中的那些資料, 從 1.1 版本開始, Redis 增加了一種完全耐久的持久化方式: AOF 持久化,

你可以在組態檔中打開AOF方式:

appendonly yes

從現在開始, 每當 Redis 執行一個改變資料集的命令時(比如 SET), 這個命令就會被追加到 AOF 檔案的末尾,這樣的話, 當 Redis 重新啟時, 程式就可以通過重新執行 AOF 檔案中的命令來達到重建資料集的目的,

日志重寫

因為 AOF 的運作方式是不斷地將命令追加到檔案的末尾, 所以隨著寫入命令的不斷增加, AOF 檔案的體積也會變得越來越大,舉個例子, 如果你對一個計數器呼叫了 100 次 INCR , 那么僅僅是為了保存這個計數器的當前值, AOF 檔案就需要使用 100 條記錄(entry),然而在實際上, 只使用一條 SET 命令已經足以保存計數器的當前值了, 其余 99 條記錄實際上都是多余的,

為了處理這種情況, Redis 支持一種有趣的特性: 可以在不打斷服務客戶端的情況下, 對 AOF 檔案進行重建(rebuild),執行 BGREWRITEAOF 命令, Redis 將生成一個新的 AOF 檔案, 這個檔案包含重建當前資料集所需的最少命令,Redis 2.2 需要自己手動執行 BGREWRITEAOF 命令; Redis 2.4 則可以自動觸發 AOF 重寫, 具體資訊請查看 2.4 的示例組態檔,

AOF有多耐用?

你可以配置 Redis 多久才將資料 fsync 到磁盤一次,有三種方式:

  • 每次有新命令追加到 AOF 檔案時就執行一次 fsync :非常慢,也非常安全
  • 每秒 fsync 一次:足夠快(和使用 RDB 持久化差不多),并且在故障時只會丟失 1 秒鐘的資料,
  • 從不 fsync :將資料交給作業系統來處理,更快,也更不安全的選擇,
  • 推薦(并且也是默認)的措施為每秒 fsync 一次, 這種 fsync 策略可以兼顧速度和安全性,

如果AOF檔案損壞了怎么辦?

服務器可能在程式正在對 AOF 檔案進行寫入時停機, 如果停機造成了 AOF 檔案出錯(corrupt), 那么 Redis 在重啟時會拒絕載入這個 AOF 檔案, 從而確保資料的一致性不會被破壞,當發生這種情況時, 可以用以下方法來修復出錯的 AOF 檔案:

  • 為現有的 AOF 檔案創建一個備份,
  • 使用 Redis 附帶的 redis-check-aof 程式,對原來的 AOF 檔案進行修復:

    $ redis-check-aof –fix

  • (可選)使用 diff -u 對比修復后的 AOF 檔案和原始 AOF 檔案的備份,查看兩個檔案之間的不同之處,
  • 重啟 Redis 服務器,等待服務器載入修復后的 AOF 檔案,并進行資料恢復,

作業原理

AOF 重寫和 RDB 創建快照一樣,都巧妙地利用了寫時復制機制:

  • Redis 執行 fork() ,現在同時擁有父行程和子行程,
  • 子行程開始將新 AOF 檔案的內容寫入到臨時檔案,
  • 對于所有新執行的寫入命令,父行程一邊將它們累積到一個記憶體快取中,一邊將這些改動追加到現有 AOF 檔案的末尾,這樣樣即使在重寫的中途發生停機,現有的 AOF 檔案也還是安全的,
  • 當子行程完成重寫作業時,它給父行程發送一個信號,父行程在接收到信號之后,將記憶體快取中的所有資料追加到新 AOF 檔案的末尾,
  • 搞定!現在 Redis 原子地用新檔案替換舊檔案,之后所有命令都會直接追加到新 AOF 檔案的末尾,

怎樣從RDB方式切換為AOF方式

在 Redis 2.2 或以上版本,可以在不重啟的情況下,從 RDB 切換到 AOF :

  • 為最新的 dump.rdb 檔案創建一個備份,
  • 將備份放到一個安全的地方,
  • 執行以下兩條命令:
  • redis-cli config set appendonly yes
  • redis-cli config set save “”
  • 確保寫命令會被正確地追加到 AOF 檔案的末尾,
  • 執行的第一條命令開啟了 AOF 功能: Redis 會阻塞直到初始 AOF 檔案創建完成為止, 之后 Redis 會繼續處理命令請求, 并開始將寫入命令追加到 AOF 檔案末尾,

執行的第二條命令用于關閉 RDB 功能, 這一步是可選的, 如果你愿意的話, 也可以同時使用 RDB 和 AOF 這兩種持久化功能,

重要:別忘了在 redis.conf 中打開 AOF 功能! 否則的話, 服務器重啟之后, 之前通過 CONFIG SET 設定的配置就會被遺忘, 程式會按原來的配置來啟動服務器,

AOF和RDB之間的相互作用

在版本號大于等于 2.4 的 Redis 中, BGSAVE 執行的程序中, 不可以執行 BGREWRITEAOF , 反過來說, 在 BGREWRITEAOF 執行的程序中, 也不可以執行 BGSAVE,這可以防止兩個 Redis 后臺行程同時對磁盤進行大量的 I/O 操作,

如果 BGSAVE 正在執行, 并且用戶顯示地呼叫 BGREWRITEAOF 命令, 那么服務器將向用戶回復一個 OK 狀態, 并告知用戶, BGREWRITEAOF 已經被預定執行: 一旦 BGSAVE 執行完畢, BGREWRITEAOF 就會正式開始, 當 Redis 啟動時, 如果 RDB 持久化和 AOF 持久化都被打開了, 那么程式會優先使用 AOF 檔案來恢復資料集, 因為 AOF 檔案所保存的資料通常是最完整的,

備份redis資料

在閱讀這個小節前, 請牢記下面這句話: 確保你的資料由完整的備份. 磁盤故障, 節點失效, 諸如此類的問題都可能讓你的資料消失不見, 不進行備份是非常危險的,

Redis 對于資料備份是非常友好的, 因為你可以在服務器運行的時候對 RDB 檔案進行復制: RDB 檔案一旦被創建, 就不會進行任何修改, 當服務器要創建一個新的 RDB 檔案時, 它先將檔案的內容保存在一個臨時檔案里面, 當臨時檔案寫入完畢時, 程式才使用 rename(2) 原子地用臨時檔案替換原來的 RDB 檔案,

這也就是說, 無論何時, 復制 RDB 檔案都是絕對安全的,

  • 創建一個定期任務(cron job), 每小時將一個 RDB 檔案備份到一個檔案夾, 并且每天將一個 RDB 檔案備份到另一個檔案夾,
  • 確保快照的備份都帶有相應的日期和時間資訊, 每次執行定期任務腳本時, 使用 find 命令來洗掉過期的快照: 比如說, 你可以保留最近 48 小時內的每小時快照, 還可以保留最近一兩個月的每日快照,
  • 至少每天一次, 將 RDB 備份到你的資料中心之外, 或者至少是備份到你運行 Redis 服務器的物理機器之外,

容災備份

Redis 的容災備份基本上就是對資料進行備份, 并將這些備份傳送到多個不同的外部資料中心,容災備份可以在 Redis 運行并產生快照的主資料中心發生嚴重的問題時, 仍然讓資料處于安全狀態,

因為很多 Redis 用戶都是創業者, 他們沒有大把大把的錢可以浪費, 所以下面介紹的都是一些實用又便宜的容災備份方法:

  • Amazon S3 ,以及其他類似 S3 的服務,是一個構建災難備份系統的好地方, 最簡單的方法就是將你的每小時或者每日 RDB 備份加密并傳送到 S3 , 對資料的加密可以通過 gpg -c 命令來完成(對稱加密模式), 記得把你的密碼放到幾個不同的、安全的地方去(比如你可以把密碼復制給你組織里最重要的人物), 同時使用多個儲存服務來保存資料檔案,可以提升資料的安全性,
  • 傳送快照可以使用 SCP 來完成(SSH 的組件), 以下是簡單并且安全的傳送方法: 買一個離你的資料中心非常遠的 VPS , 裝上 SSH , 創建一個無口令的 SSH 客戶端 key , 并將這個 key 添加到 VPS 的 authorized_keys 檔案中, 這樣就可以向這個 VPS 傳送快照備份檔案了, 為了達到最好的資料安全性,至少要從兩個不同的提供商那里各購買一個 VPS 來進行資料容災備份,
  • 需要注意的是, 這類容災系統如果沒有小心地進行處理的話, 是很容易失效的,最低限度下, 你應該在檔案傳送完畢之后, 檢查所傳送備份檔案的體積和原始快照檔案的體積是否相同, 如果你使用的是 VPS , 那么還可以通過比對檔案的 SHA1 校驗和來確認檔案是否傳送完整,

另外, 你還需要一個獨立的警報系統, 讓它在負責傳送備份檔案的傳送器(transfer)失靈時通知你,

RDB的優點

  • RDB是一個非常緊湊的檔案,它保存了某個時間點得資料集,非常適用于資料集的備份,比如你可以在每個小時報保存一下過去24小時內的資料,同時每天保存過去30天的資料,這樣即使出了問題你也可以根據需求恢復到不同版本的資料集.
  • RDB是一個緊湊的單一檔案,很方便傳送到另一個遠端資料中心或者亞馬遜的S3(可能加密),非常適用于災難恢復.
  • RDB在保存RDB檔案時父行程唯一需要做的就是fork出一個子行程,接下來的作業全部由子行程來做,父行程不需要再做其他IO操作,所以RDB持久化方式可以最大化redis的性能.
  • 與AOF相比,在恢復大的資料集的時候,RDB方式會更快一些.
  • RDB的缺點

  • 如果你希望在redis意外停止作業(例如電源中斷)的情況下丟失的資料最少的話,那么RDB不適合你.雖然你可以配置不同的save時間點(例如每隔5分鐘并且對資料集有100個寫的操作),是Redis要完整的保存整個資料集是一個比較繁重的作業,你通常會每隔5分鐘或者更久做一次完整的保存,萬一在Redis意外宕機,你可能會丟失幾分鐘的資料.
  • RDB 需要經常fork子行程來保存資料集到硬碟上,當資料集比較大的時候,fork的程序是非常耗時的,可能會導致Redis在一些毫秒級內不能回應客戶端的請求.如果資料集巨大并且CPU性能不是很好的情況下,這種情況會持續1秒,AOF也需要fork,但是你可以調節重寫日志檔案的頻率來提高資料集的耐久度.
  • AOF 優點

  • 使用AOF 會讓你的Redis更加耐久: 你可以使用不同的fsync策略:無fsync,每秒fsync,每次寫的時候fsync.使用默認的每秒fsync策略,Redis的性能依然很好(fsync是由后臺執行緒進行處理的,主執行緒會盡力處理客戶端請求),一旦出現故障,你最多丟失1秒的資料.
  • AOF檔案是一個只進行追加的日志檔案,所以不需要寫入seek,即使由于某些原因(磁盤空間已滿,寫的程序中宕機等等)未執行完整的寫入命令,你也也可使用redis-check-aof工具修復這些問題.
  • Redis 可以在 AOF 檔案體積變得過大時,自動地在后臺對 AOF 進行重寫: 重寫后的新 AOF 檔案包含了恢復當前資料集所需的最小命令集合, 整個重寫操作是絕對安全的,因為 Redis 在創建新 AOF 檔案的程序中,會繼續將命令追加到現有的 AOF 檔案里面,即使重寫程序中發生停機,現有的 AOF 檔案也不會丟失, 而一旦新 AOF 檔案創建完畢,Redis 就會從舊 AOF 檔案切換到新 AOF 檔案,并開始對新 AOF 檔案進行追加操作,
  • AOF 檔案有序地保存了對資料庫執行的所有寫入操作, 這些寫入操作以 Redis 協議的格式保存, 因此 AOF 檔案的內容非常容易被人讀懂, 對檔案進行分析(parse)也很輕松, 匯出(export) AOF 檔案也非常簡單: 舉個例子, 如果你不小心執行了 FLUSHALL 命令, 但只要 AOF 檔案未被重寫, 那么只要停止服務器, 移除 AOF 檔案末尾的 FLUSHALL 命令, 并重啟 Redis , 就可以將資料集恢復到 FLUSHALL 執行之前的狀態,
  • AOF 缺點

  • 對于相同的資料集來說,AOF 檔案的體積通常要大于 RDB 檔案的體積,
  • 根據所使用的 fsync 策略,AOF 的速度可能會慢于 RDB , 在一般情況下, 每秒 fsync 的性能依然非常高, 而關閉 fsync 可以讓 AOF 的速度和 RDB 一樣快, 即使在高負荷之下也是如此, 不過在處理巨大的寫入載入時,RDB 可以提供更有保證的最大延遲時間(latency),
  • 如何選擇使用哪種持久化方式?

一般來說, 如果想達到足以媲美 PostgreSQL 的資料安全性, 你應該同時使用兩種持久化功能,

如果你非常關心你的資料, 但仍然可以承受數分鐘以內的資料丟失, 那么你可以只使用 RDB 持久化,

有很多用戶都只使用 AOF 持久化, 但我們并不推薦這種方式: 因為定時生成 RDB 快照(snapshot)非常便于進行資料庫備份, 并且 RDB 恢復資料集的速度也要比 AOF 恢復的速度要快, 除此之外, 使用 RDB 還可以避免之前提到的 AOF 程式的 bug ,

Note: 因為以上提到的種種原因, 未來我們可能會將 AOF 和 RDB 整合成單個持久化模型, (這是一個長期計劃,) 接下來的幾個小節將介紹 RDB 和 AOF 的更多細節,

快照

在默認情況下, Redis 將資料庫快照保存在名字為 dump.rdb的二進制檔案中,你可以對 Redis 進行設定, 讓它在“ N 秒內資料集至少有 M 個改動”這一條件被滿足時, 自動保存一次資料集,你也可以通過呼叫 SAVE或者 BGSAVE , 手動讓 Redis 進行資料集保存操作,

比如說, 以下設定會讓 Redis 在滿足“ 60 秒內有至少有 1000 個鍵被改動”這一條件時, 自動保存一次資料集:

save 60 1000

這種持久化方式被稱為快照 snapshotting.

作業方式

當 Redis 需要保存 dump.rdb 檔案時, 服務器執行以下操作:

  • Redis 呼叫forks. 同時擁有父行程和子行程,
  • 子行程將資料集寫入到一個臨時 RDB 檔案中,
  • 當子行程完成對新 RDB 檔案的寫入時,Redis 用新 RDB 檔案替換原來的 RDB 檔案,并洗掉舊的 RDB 檔案,

這種作業方式使得 Redis 可以從寫時復制(copy-on-write)機制中獲益,

只追加操作的檔案(Append-only file,AOF)

快照功能并不是非常耐久(dura ble): 如果 Redis 因為某些原因而造成故障停機, 那么服務器將丟失最近寫入、且仍未保存到快照中的那些資料, 從 1.1 版本開始, Redis 增加了一種完全耐久的持久化方式: AOF 持久化,

你可以在組態檔中打開AOF方式:

appendonly yes

從現在開始, 每當 Redis 執行一個改變資料集的命令時(比如 SET), 這個命令就會被追加到 AOF 檔案的末尾,這樣的話, 當 Redis 重新啟時, 程式就可以通過重新執行 AOF 檔案中的命令來達到重建資料集的目的,

日志重寫

因為 AOF 的運作方式是不斷地將命令追加到檔案的末尾, 所以隨著寫入命令的不斷增加, AOF 檔案的體積也會變得越來越大,舉個例子, 如果你對一個計數器呼叫了 100 次 INCR , 那么僅僅是為了保存這個計數器的當前值, AOF 檔案就需要使用 100 條記錄(entry),然而在實際上, 只使用一條 SET 命令已經足以保存計數器的當前值了, 其余 99 條記錄實際上都是多余的,

為了處理這種情況, Redis 支持一種有趣的特性: 可以在不打斷服務客戶端的情況下, 對 AOF 檔案進行重建(rebuild),執行 BGREWRITEAOF 命令, Redis 將生成一個新的 AOF 檔案, 這個檔案包含重建當前資料集所需的最少命令,Redis 2.2 需要自己手動執行 BGREWRITEAOF 命令; Redis 2.4 則可以自動觸發 AOF 重寫, 具體資訊請查看 2.4 的示例組態檔,

AOF有多耐用?

你可以配置 Redis 多久才將資料 fsync 到磁盤一次,有三種方式:

  • 每次有新命令追加到 AOF 檔案時就執行一次 fsync :非常慢,也非常安全
  • 每秒 fsync 一次:足夠快(和使用 RDB 持久化差不多),并且在故障時只會丟失 1 秒鐘的資料,
  • 從不 fsync :將資料交給作業系統來處理,更快,也更不安全的選擇,
  • 推薦(并且也是默認)的措施為每秒 fsync 一次, 這種 fsync 策略可以兼顧速度和安全性,

如果AOF檔案損壞了怎么辦?

服務器可能在程式正在對 AOF 檔案進行寫入時停機, 如果停機造成了 AOF 檔案出錯(corrupt), 那么 Redis 在重啟時會拒絕載入這個 AOF 檔案, 從而確保資料的一致性不會被破壞,當發生這種情況時, 可以用以下方法來修復出錯的 AOF 檔案:

  • 為現有的 AOF 檔案創建一個備份,
  • 使用 Redis 附帶的 redis-check-aof 程式,對原來的 AOF 檔案進行修復:

    $ redis-check-aof –fix

  • (可選)使用 diff -u 對比修復后的 AOF 檔案和原始 AOF 檔案的備份,查看兩個檔案之間的不同之處,
  • 重啟 Redis 服務器,等待服務器載入修復后的 AOF 檔案,并進行資料恢復,

作業原理

AOF 重寫和 RDB 創建快照一樣,都巧妙地利用了寫時復制機制:

  • Redis 執行 fork() ,現在同時擁有父行程和子行程,
  • 子行程開始將新 AOF 檔案的內容寫入到臨時檔案,
  • 對于所有新執行的寫入命令,父行程一邊將它們累積到一個記憶體快取中,一邊將這些改動追加到現有 AOF 檔案的末尾,這樣樣即使在重寫的中途發生停機,現有的 AOF 檔案也還是安全的,
  • 當子行程完成重寫作業時,它給父行程發送一個信號,父行程在接收到信號之后,將記憶體快取中的所有資料追加到新 AOF 檔案的末尾,
  • 搞定!現在 Redis 原子地用新檔案替換舊檔案,之后所有命令都會直接追加到新 AOF 檔案的末尾,

怎樣從RDB方式切換為AOF方式

在 Redis 2.2 或以上版本,可以在不重啟的情況下,從 RDB 切換到 AOF :

  • 為最新的 dump.rdb 檔案創建一個備份,
  • 將備份放到一個安全的地方,
  • 執行以下兩條命令:
  • redis-cli config set appendonly yes
  • redis-cli config set save “”
  • 確保寫命令會被正確地追加到 AOF 檔案的末尾,
  • 執行的第一條命令開啟了 AOF 功能: Redis 會阻塞直到初始 AOF 檔案創建完成為止, 之后 Redis 會繼續處理命令請求, 并開始將寫入命令追加到 AOF 檔案末尾,

執行的第二條命令用于關閉 RDB 功能, 這一步是可選的, 如果你愿意的話, 也可以同時使用 RDB 和 AOF 這兩種持久化功能,

重要:別忘了在 redis.conf 中打開 AOF 功能! 否則的話, 服務器重啟之后, 之前通過 CONFIG SET 設定的配置就會被遺忘, 程式會按原來的配置來啟動服務器,

AOF和RDB之間的相互作用

在版本號大于等于 2.4 的 Redis 中, BGSAVE 執行的程序中, 不可以執行 BGREWRITEAOF , 反過來說, 在 BGREWRITEAOF 執行的程序中, 也不可以執行 BGSAVE,這可以防止兩個 Redis 后臺行程同時對磁盤進行大量的 I/O 操作,

如果 BGSAVE 正在執行, 并且用戶顯示地呼叫 BGREWRITEAOF 命令, 那么服務器將向用戶回復一個 OK 狀態, 并告知用戶, BGREWRITEAOF 已經被預定執行: 一旦 BGSAVE 執行完畢, BGREWRITEAOF 就會正式開始, 當 Redis 啟動時, 如果 RDB 持久化和 AOF 持久化都被打開了, 那么程式會優先使用 AOF 檔案來恢復資料集, 因為 AOF 檔案所保存的資料通常是最完整的,

備份redis資料

在閱讀這個小節前, 請牢記下面這句話: 確保你的資料由完整的備份. 磁盤故障, 節點失效, 諸如此類的問題都可能讓你的資料消失不見, 不進行備份是非常危險的,

Redis 對于資料備份是非常友好的, 因為你可以在服務器運行的時候對 RDB 檔案進行復制: RDB 檔案一旦被創建, 就不會進行任何修改, 當服務器要創建一個新的 RDB 檔案時, 它先將檔案的內容保存在一個臨時檔案里面, 當臨時檔案寫入完畢時, 程式才使用 rename(2) 原子地用臨時檔案替換原來的 RDB 檔案,

這也就是說, 無論何時, 復制 RDB 檔案都是絕對安全的,

  • 創建一個定期任務(cron job), 每小時將一個 RDB 檔案備份到一個檔案夾, 并且每天將一個 RDB 檔案備份到另一個檔案夾,
  • 確保快照的備份都帶有相應的日期和時間資訊, 每次執行定期任務腳本時, 使用 find 命令來洗掉過期的快照: 比如說, 你可以保留最近 48 小時內的每小時快照, 還可以保留最近一兩個月的每日快照,
  • 至少每天一次, 將 RDB 備份到你的資料中心之外, 或者至少是備份到你運行 Redis 服務器的物理機器之外,

容災備份

Redis 的容災備份基本上就是對資料進行備份, 并將這些備份傳送到多個不同的外部資料中心,容災備份可以在 Redis 運行并產生快照的主資料中心發生嚴重的問題時, 仍然讓資料處于安全狀態,

因為很多 Redis 用戶都是創業者, 他們沒有大把大把的錢可以浪費, 所以下面介紹的都是一些實用又便宜的容災備份方法:

  • Amazon S3 ,以及其他類似 S3 的服務,是一個構建災難備份系統的好地方, 最簡單的方法就是將你的每小時或者每日 RDB 備份加密并傳送到 S3 , 對資料的加密可以通過 gpg -c 命令來完成(對稱加密模式), 記得把你的密碼放到幾個不同的、安全的地方去(比如你可以把密碼復制給你組織里最重要的人物), 同時使用多個儲存服務來保存資料檔案,可以提升資料的安全性,
  • 傳送快照可以使用 SCP 來完成(SSH 的組件), 以下是簡單并且安全的傳送方法: 買一個離你的資料中心非常遠的 VPS , 裝上 SSH , 創建一個無口令的 SSH 客戶端 key , 并將這個 key 添加到 VPS 的 authorized_keys 檔案中, 這樣就可以向這個 VPS 傳送快照備份檔案了, 為了達到最好的資料安全性,至少要從兩個不同的提供商那里各購買一個 VPS 來進行資料容災備份,
  • 需要注意的是, 這類容災系統如果沒有小心地進行處理的話, 是很容易失效的,最低限度下, 你應該在檔案傳送完畢之后, 檢查所傳送備份檔案的體積和原始快照檔案的體積是否相同, 如果你使用的是 VPS , 那么還可以通過比對檔案的 SHA1 校驗和來確認檔案是否傳送完整,

另外, 你還需要一個獨立的警報系統, 讓它在負責傳送備份檔案的傳送器(transfer)失靈時通知你,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/196097.html

標籤:其他

上一篇:使用Kettle抽取資料時,出現中文亂碼問題解決方案

下一篇:MySQL 之 表與表之間的關系

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more