主頁 > 軟體設計 > 詳解快取更新策略及如何選擇

詳解快取更新策略及如何選擇

2023-05-13 08:52:47 軟體設計

概述

快取更新是指在資料發生變化時,保持快取和資料庫的資料一致性的問題,如果快取和資料庫的資料不一致,會導致用戶看到過期或者錯誤的資料,影響業務邏輯和用戶體驗,

為了實作快取更新,我們可以采用以下四種方式其中的一種:

  • Cache Aside策略:應用程式直接與資料庫和快取互動,并負責維護快取的一致性

    • 查詢:先查詢快取,如果快取中沒有,則查詢資料庫,并將結果寫入快取
    • 更新:先更新資料庫,然后洗掉快取或者更新快取
  • Read/Write Through策略:應用程式只和快取互動,而是使用快取與資料庫互動

    • 查詢:先查詢快取,如果快取中沒有,則快取從資料庫中加載資料,并寫入快取
    • 更新:先更新快取,再由快取同步更新資料庫
  • Write Behind 策略:應用程式只和快取互動,當有資料更新時,只更新快取,不直接更新資料庫,改為異步的方式更新資料庫

  • Refresh-Ahead策略:應用程式只和快取互動,由后臺服務與資料庫互動

    • 查詢:只查詢快取
    • 更新:由后臺服務自動從資料庫中查詢最新的資料,并將資料寫入快取中,

    不同于以上三種,應用程式無需等待資料的重繪,也無需自己去觸發資料的重繪,而是后臺服務來完成這些操作

Cache Aside

Cache Aside策略上文已經介紹過了,它是通過應用層面來實作的,分為兩種場景:

  • Cache Aside查詢策略
  • Cache Aside更新策略

Cache Aside查詢策略

如下圖所示:通過代碼查詢快取,快取命中則回傳,如果沒有命中則查詢資料庫并設定值

image

Cache Aside更新策略

如下圖所示:通過代碼更新快取,先更新資料庫,后更新快取

image

這種策略簡單易用,但是需要維護快取和資料庫的一致性,可能出現快取穿透或快取雪崩的問題,一般采用延遲雙刪來保證最終一致性

延遲雙刪

延遲雙刪是一種保證資料一致性的常用策略,它的基本思想是在更新資料庫后,先洗掉快取,然后等待一段時間,再次洗掉快取,這樣做的目的是為了防止在資料庫和快取主從同步的程序中,有其他請求查詢到舊的快取資料,并寫回到快取中,具體的流程如下:

  1. 更新資料庫資料
  2. 洗掉快取資料
  3. 休眠一段時間,時間依據資料的讀取耗費的時間而定,
  4. 再次洗掉快取資料

延遲雙刪的休眠時間是根據業務讀取資料平均耗時來設定的,目的是確保讀請求可以結束,寫請求可以洗掉讀請求造成的臟資料的問題,一般來說,休眠時間可以設定為500毫秒左右,但具體還要根據實際情況調整,休眠時間設定過長會影響性能和實時性,設定過短會導致資料不一致的風險,

延遲雙刪的優點是簡單易實作,能夠提高資料的最終一致性,但是延遲雙刪的缺點也非常明顯:

  • 延遲雙刪不是強一致性,有等待環節,如果系統要求低延時,這種場景就不合適了
  • 延遲雙刪不適合“秒殺”這種頻繁修改資料和要求資料強一致的場景
  • 延遲雙刪的延時時間是一個預估值,不能確保資料庫和redis在這個時間段內都實時同步或持久化成功了
  • 延遲雙刪不能完全避免redis存在臟資料的問題,只能減輕這個問題,要想徹底解決,還需要用到同步鎖解決

Read/Write Through

Read/Write Through只與快取做互動,分為兩種場景:

  • Read/Write Through查詢策略
  • Read/Write Through更新策略

Read/Write Through查詢策略

如下圖所示:先查詢快取,如果快取沒有,由快取去資料庫查詢,而不是應用層,查詢后更新快取

image

Read/Write Through更新策略

如下圖所示:先更新快取,再由快取同步更新資料庫

image

Write Behind

Write Behind 策略是指在寫入資料時,只更新快取中的資料,然后建立一個異步任務或者定時任務來批量更新資料庫中的資料,這樣,應用程式無需等待資料庫的回應,也無需自己去同步更新資料庫和快取,而是交由快取服務來完成這些操作,如下圖所示:

image

Refresh-Ahead

是指在讀取資料時,如果快取中的資料即將過期,則由CDC服務自動從資料庫中查詢最新的資料,并將資料寫入快取中,然后回傳給應用程式,不同于以上三種,應用程式無需等待資料的重繪,也無需自己去觸發資料的重繪,而是交由CDC服務來完成這些操作,

Refresh-Ahead 模式的作業原理如下:

  • 當客戶端訪問快取中的某個資料項時,首先檢查該資料項是否即將過期,如果是,則啟動一個后臺執行緒或服務去從資料源中獲取最新的資料,并替換掉快取中的舊資料;同時回傳給客戶端
  • 如果該資料還沒有即將過期,則直接回傳給客戶端
  • 如果該資料項已經過期,則從資料源中獲取最新的資料,并替換掉快取中的舊資料,并回傳給客戶端新資料,

CDC

CDC,全稱為Change Data Capture,它是一種軟體設計模式,可以讓用戶檢測和管理資料源的增量變化,并將這些變化應用到企業的下游環節,CDC 技術可以實時捕獲資料的變化,只需要很少的資源,而不是全量資料批處理,CDC 可以幫助實作資料同步、資料倉庫加載、資料分析等場景,

image

CDC 的優點:

  • 提高資料訪問的性能和效率,因為它避免了重復地查詢整個資料集,而只需要獲取增量資料
  • 提高資料一致性和可靠性,因為它可以及時地將資料源的變化同步到下游系統,避免了資料過期或丟失的風險
  • 提高資料分析和洞察的能力,因為它可以實時地反映資料的狀態
  • 提高資料集成和轉換的靈活性和可擴展性,因為它可以適應不同型別和結構的資料源和目標,支持多種場景和用例,

CDC 的應用場景:

  • 資料同步:可將資料源中的變化同步到其他資料庫或資料存盤中,例如快取、搜索索引、備份等,
  • 資料倉庫加載:可將資料源中的變化加載到資料倉庫或資料湖中,支持離線或實時的資料分析和報告,
  • 資料分析:可將資料源中的變化發送到流式處理平臺或機器學習平臺中,支持實時或批量的資料處理和建模
  • 資料觸發:可將資料源中的變化作為觸發器,激活其他系統或服務中的業務流程或邏輯,例如通知、審計、驗證等

CDC 的實作方式有多種,其中比較成熟的開源專案就是Debezium,它為CDC提供了一套低延遲的資料流平臺支持多種資料庫,例如:MongoDB、MySQL、PostgreSQL、SQL Server、Oracle等等,使用Debezium監控資料源,并使用Kafka作為訊息服務,將資料源的變化作為事件發送到快取,這樣,快取可以異步地接收和處理資料變化,而不需要定期地查詢資料源

image

四種策略的選擇

我們介紹了四種常見的快取更新策略:Cache AsideRead/Write ThroughWrite Behind CachingRefresh-Ahead,在實際應用時,應該結合具體業務和應用場景來選擇合適的快取策略,接下來我們通過對比性能、資料一致性、冗余資料、代碼復雜度、業務邏輯、可靠性這幾個點來說明:

策略 性能 一致性 冗余資料 代碼復雜度 業務邏輯 可靠性
Cache Aside 較高 較低 較少 較高 較復雜 較低
Read/Write Through 較低 最高 較多 最高 最簡單 最高
Write Behind Caching 最高 最低 較少 較低 較簡單 較高
Refresh-Ahead 次高 次高 較多 最高 較復雜 最高

注意:
Refresh-Ahead策略是假定無CDC的情況下進行對比的

性能

  • Cache Aside 的性能較高,它只在快取未命中時才訪問資料庫
  • Read/Write Through 的性能較低,它在每次讀寫時都需要訪問資料庫
  • Write Behind Caching 的性能最高,它只在快取未命中時才訪問資料庫,而寫入操作是異步的
  • Refresh-Ahead 的性能介于 Cache AsideWrite Behind Caching 之間,它只在即將過期時才訪問資料庫,并且寫入操作也是異步的

資料一致性

  • Cache Aside 的資料一致性較低,它只在快取未命中時才更新快取,而寫入操作則是直接更新資料庫并將快取中的資料洗掉或更新
  • Read/Write Through 的資料一致性最高,它在每次讀寫時都更新資料庫和快取
  • Write Behind Caching 的資料一致性最低,它只在快取未命中時才更新快取,而寫入操作則是先更新快取,并在異步更新資料庫,有較大的延遲,
  • Refresh-Ahead 的資料一致性介于 Read/Write ThroughCache Aside 之間,它保證了快取中的資料總是最新的,但是有一定的延遲

冗余資料

  • Cache Aside 的冗余資料較少,它只將經常訪問的資料保存到快取中
  • Read/Write Through 的冗余資料較多,它需要將資料庫的所有資料都保存到快取中
  • Write Behind Caching 的冗余資料與 Cache Aside 相同,因為它也只將經常訪問的資料保存到快取中
  • Refresh-Ahead 的冗余資料與 Read/Write Through 相同,它也需要將資料庫的所有資料都保存到快取中

代碼復雜度

  • Cache Aside 的代碼復雜度較高,它需要同時與快取和資料庫互動,并處理可能出現的例外情況
  • Read/Write Through 的代碼復雜度最高,它需要實作資料庫的讀寫介面
  • Write Behind Caching 的代碼復雜度較低,它只需要實作簡單的快取操作,并在異步執行資料庫寫入操作
  • Refresh-Ahead 的代碼復雜度與 Read/Write Through 相同,他它需要實作資料庫的讀寫介面(關于這點可以使用Debezium)

業務邏輯

  • Cache Aside 的業務邏輯較復雜,它需要同時與快取和資料庫互動,且回傳的資料是最新的
  • Read/Write Through 的業務邏輯最簡單,它只與快取互動,且回傳的資料是最新的
  • Write Behind Caching 的業務邏輯較簡單,它也只與快取互動,且回傳的資料是最新的,由于是異步更新,所以比Read/Write Through要復雜一些
  • Refresh-Ahead 的業務邏輯較復雜,它會同時與快取和資料庫互動,需要處理可能出現的例外情況,且回傳的資料有可能是舊的,也有可能是新的(關于這點也可以使用Debezium)

可靠性

  • Cache Aside 的可靠性較低,因為它將快取作為資料庫的輔助層
  • Read/Write Through 的可靠性最高,因為它將快取作為資料庫的代理層
  • Write Behind Caching 的可靠性較高,因為它將快取作為資料庫前置層
  • Refresh-Ahead 的可靠性與 Read/Write Through 相同,因為它也將快取作為資料庫的代理層

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/552353.html

標籤:架構設計

上一篇:結構型模式(Structural Pattern)

下一篇:返回列表

標籤雲
其他(158965) Python(38129) JavaScript(25420) Java(18034) C(15226) 區塊鏈(8265) C#(7972) AI(7469) 爪哇(7425) MySQL(7179) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5339) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4572) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2433) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1972) 功能(1967) Web開發(1951) HtmlCss(1936) python-3.x(1918) C++(1915) 弹簧靴(1913) xml(1889) PostgreSQL(1875) .NETCore(1860) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 詳解快取更新策略及如何選擇

    概述 快取更新是指在資料發生變化時,保持快取和資料庫的資料一致性的問題。如果快取和資料庫的資料不一致,會導致用戶看到過期或者錯誤的資料,影響業務邏輯和用戶體驗。 為了實作快取更新,我們可以采用以下四種方式其中的一種: Cache Aside策略:應用程式直接與資料庫和快取互動,并負責維護快取的一致性 ......

    uj5u.com 2023-05-13 08:52:47 more
  • 結構型模式(Structural Pattern)

    模式介紹 結構型模式(Structural Pattern)的主要目的就是將不同的類和物件組合在一起,形成更大或者更復雜的結構體。該模式并不是簡單地將這些類或物件擺放在一起,而是要提供它們之間的關聯方式。不同的結構型模式從不同的角度來組合類或物件,它們盡可能滿足各種面向物件設計原則的同時為類或物件的 ......

    uj5u.com 2023-05-12 10:05:14 more
  • 譯:從分布式微服務到單體

    原文:https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90 從分布式微服務架構遷移到整體式應用 ......

    uj5u.com 2023-05-12 10:05:04 more
  • 領域驅動設計之認知篇

    學習DDD的意義 作為技術人,都有一個成為大牛的夢。 有些人可以通過自己掌握了比較底層、有深度、有難度的技術來證明自己的能力。 但對于絕大多數的應用研發工程師來說,其大部分的時間精力,會被消耗在讀不懂、講不清的屎山代碼中,以及復雜多變的業務迭代中。很少會有需要去接觸高深技術的機會,即便是接觸了,也很 ......

    uj5u.com 2023-05-12 10:04:51 more
  • 結構型模式(Structural Pattern)

    模式介紹 結構型模式(Structural Pattern)的主要目的就是將不同的類和物件組合在一起,形成更大或者更復雜的結構體。該模式并不是簡單地將這些類或物件擺放在一起,而是要提供它們之間的關聯方式。不同的結構型模式從不同的角度來組合類或物件,它們盡可能滿足各種面向物件設計原則的同時為類或物件的 ......

    uj5u.com 2023-05-12 10:04:35 more
  • 領域驅動設計之認知篇

    學習DDD的意義 作為技術人,都有一個成為大牛的夢。 有些人可以通過自己掌握了比較底層、有深度、有難度的技術來證明自己的能力。 但對于絕大多數的應用研發工程師來說,其大部分的時間精力,會被消耗在讀不懂、講不清的屎山代碼中,以及復雜多變的業務迭代中。很少會有需要去接觸高深技術的機會,即便是接觸了,也很 ......

    uj5u.com 2023-05-12 10:04:16 more
  • 譯:從分布式微服務到單體

    原文:https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90 從分布式微服務架構遷移到整體式應用 ......

    uj5u.com 2023-05-12 10:03:54 more
  • 原型模式(Prototype Pattern)

    模式動機 原型模式(Prototype Pattern)結構較為簡單,它是一種特殊的創建型模式,當需要創建大量相同或者相似物件時,可以通過對一個已有物件的復制獲取更多物件。Java語言提供了較為簡單的原型模式解決方案,只需要創建一個原型物件,然后通過在類中定義的克隆方法復制自己。該模式應用較為廣泛, ......

    uj5u.com 2023-05-11 08:27:25 more
  • 原型模式(Prototype Pattern)

    模式動機 原型模式(Prototype Pattern)結構較為簡單,它是一種特殊的創建型模式,當需要創建大量相同或者相似物件時,可以通過對一個已有物件的復制獲取更多物件。Java語言提供了較為簡單的原型模式解決方案,只需要創建一個原型物件,然后通過在類中定義的克隆方法復制自己。該模式應用較為廣泛, ......

    uj5u.com 2023-05-11 08:27:11 more
  • 建造者模式(Builder Pattern)

    模式動機 建造者模式(Builder Pattern)是最復雜的創建型模式,它用于創建一個包含多個組成部分的復雜物件,可以回傳一個完整的產品物件給用戶。它通過將客戶端與包含多個組成部分的復雜物件的創建程序分離,使得客戶端無需知道復雜物件的內部組成部分與裝配方式,只需要知道建造者的型別即可。它關注如何 ......

    uj5u.com 2023-05-10 11:22:18 more