主頁 > 後端開發 > 如何用ReadWriteLock實作一個通用的快取中心?

如何用ReadWriteLock實作一個通用的快取中心?

2023-05-31 07:36:29 後端開發

摘要:在并發場景中,Java SDK中提供了ReadWriteLock來滿足讀多寫少的場景,

本文分享自華為云社區《【高并發】基于ReadWriteLock開了個一款高性能快取》,作者:冰 河,

寫在前面

在實際作業中,有一種非常普遍的并發場景:那就是讀多寫少的場景,在這種場景下,為了優化程式的性能,我們經常使用快取來提高應用的訪問性能,因為快取非常適合使用在讀多寫少的場景中,而在并發場景中,Java SDK中提供了ReadWriteLock來滿足讀多寫少的場景,本文我們就來說說使用ReadWriteLock如何實作一個通用的快取中心,

本文涉及的知識點有:

讀寫鎖

說起讀寫鎖,相信小伙伴們并不陌生,總體來說,讀寫鎖需要遵循以下原則:

  • 一個共享變數允許同時被多個讀執行緒讀取到,
  • 一個共享變數在同一時刻只能被一個寫執行緒進行寫操作,
  • 一個共享變數在被寫執行緒執行寫操作時,此時這個共享變數不能被讀執行緒執行讀操作,

這里,需要小伙伴們注意的是:讀寫鎖和互斥鎖的一個重要的區別就是:讀寫鎖允許多個執行緒同時讀共享變數,而互斥鎖不允許,所以,在高并發場景下,讀寫鎖的性能要高于互斥鎖,但是,讀寫鎖的寫操作是互斥的,也就是說,使用讀寫鎖時,一個共享變數在被寫執行緒執行寫操作時,此時這個共享變數不能被讀執行緒執行讀操作,

讀寫鎖支持公平模式和非公平模式,具體是在ReentrantReadWriteLock的構造方法中傳遞一個boolean型別的變數來控制,

public ReentrantReadWriteLock(boolean fair) {
    sync = fair ? new FairSync() : new NonfairSync();
 readerLock = new ReadLock(this);
 writerLock = new WriteLock(this);
}

另外,需要注意的一點是:在讀寫鎖中,讀鎖呼叫newCondition()會拋出UnsupportedOperationException例外,也就是說:讀鎖不支持條件變數,

快取實作

這里,我們使用ReadWriteLock快速實作一個快取的通用工具類,總體代碼如下所示,

public class ReadWriteLockCache<K,V> {
 private final Map<K, V> m = new HashMap<>();
 private final ReadWriteLock rwl = new ReentrantReadWriteLock();
 // 讀鎖
 private final Lock r = rwl.readLock();
 // 寫鎖
 private final Lock w = rwl.writeLock();
 // 讀快取
 public V get(K key) {
 r.lock();
 try { return m.get(key); }
 finally { r.unlock(); }
 }
 // 寫快取
 public V put(K key, V value) {
 w.lock();
 try { return m.put(key, value); }
 finally { w.unlock(); }
 }
}

可以看到,在ReadWriteLockCache中,我們定義了兩個泛型型別,K代表快取的Key,V代表快取的value,在ReadWriteLockCache類的內部,我們使用Map來快取相應的資料,小伙伴都都知道HashMap并不是執行緒安全的類,所以,這里使用了讀寫鎖來保證執行緒的安全性,例如,我們在get()方法中使用了讀鎖,get()方法可以被多個執行緒同時執行讀操作;put()方法內部使用寫鎖,也就是說,put()方法在同一時刻只能有一個執行緒對快取進行寫操作,

這里需要注意的是:無論是讀鎖還是寫鎖,鎖的釋放操作都需要放到finally{}代碼塊中,

在以往的經驗中,有兩種向快取中加載資料的方式,一種是:專案啟動時,將資料全量加載到快取中,一種是在專案運行期間,按需加載所需要的快取資料,

接下來,我們就分別來看看全量加載快取和按需加載快取的方式,

全量加載快取

全量加載快取相對來說比較簡單,就是在專案啟動的時候,將資料一次性加載到快取中,這種情況適用于快取資料量不大,資料變動不頻繁的場景,例如:可以快取一些系統中的資料字典等資訊,整個快取加載的大體流程如下所示,

將資料全量加載到快取后,后續就可以直接從快取中讀取相應的資料了,

全量加載快取的代碼實作比較簡單,這里,我就直接使用如下代碼進行演示,

public class ReadWriteLockCache<K,V> {
 private final Map<K, V> m = new HashMap<>();
 private final ReadWriteLock rwl = new ReentrantReadWriteLock();
 // 讀鎖
 private final Lock r = rwl.readLock();
 // 寫鎖
 private final Lock w = rwl.writeLock();
 public ReadWriteLockCache(){
 //查詢資料庫
 List<Field<K, V>> list = .....;
 if(!CollectionUtils.isEmpty(list)){
 list.parallelStream().forEach((f) ->{
m.put(f.getK(), f.getV);
});
 }
 }
 // 讀快取
 public V get(K key) {
 r.lock();
 try { return m.get(key); }
 finally { r.unlock(); }
 }
 // 寫快取
 public V put(K key, V value) {
 w.lock();
 try { return m.put(key, value); }
 finally { w.unlock(); }
 }
}

按需加載快取

按需加載快取也可以叫作懶加載,就是說:需要加載的時候才會將資料加載到快取,具體來說:就是程式啟動的時候,不會將資料加載到快取,當運行時,需要查詢某些資料,首先檢測快取中是否存在需要的資料,如果存在,則直接讀取快取中的資料,如果不存在,則到資料庫中查詢資料,并將資料寫入快取,后續的讀取操作,因為快取中已經存在了相應的資料,直接回傳快取的資料即可,

這種查詢快取的方式適用于大多數快取資料的場景,

我們可以使用如下代碼來表示按需查詢快取的業務,

class ReadWriteLockCache<K,V> {
 private final Map<K, V> m = new HashMap<>();
 private final ReadWriteLock rwl = new ReentrantReadWriteLock();
 private final Lock r = rwl.readLock();
 private final Lock w = rwl.writeLock();
 V get(K key) {
 V v = null;
 //讀快取
 r.lock(); 
 try {
            v = m.get(key);
 } finally{
 r.unlock(); 
 }
 //快取中存在,回傳
 if(v != null) { 
 return v;
 } 
 //快取中不存在,查詢資料庫
 w.lock(); 
 try {
 //再次驗證快取中是否存在資料
            v = m.get(key);
 if(v == null){ 
 //查詢資料庫
                v=從資料庫中查詢出來的資料
 m.put(key, v);
 }
 } finally{
 w.unlock();
 }
 return v; 
 }
}

這里,在get()方法中,首先從快取中讀取資料,此時,我們對查詢快取的操作添加了讀鎖,查詢回傳后,進行解鎖操作,判斷快取中回傳的資料是否為空,不為空,則直接回傳資料;如果為空,則獲取寫鎖,之后再次從快取中讀取資料,如果快取中不存在資料,則查詢資料庫,將結果資料寫入快取,釋放寫鎖,最侄訓傳結果資料,

這里,有小伙伴可能會問:為啥程式都已經添加寫鎖了,在寫鎖內部為啥還要查詢一次快取呢?

這是因為在高并發的場景下,可能會存在多個執行緒來競爭寫鎖的現象,例如:第一次執行get()方法時,快取中的資料為空,如果此時有三個執行緒同時呼叫get()方法,同時運行到 w.lock()代碼處,由于寫鎖的排他性,此時只有一個執行緒會獲取到寫鎖,其他兩個執行緒則阻塞在w.lock()處,獲取到寫鎖的執行緒繼續往下執行查詢資料庫,將資料寫入快取,之后釋放寫鎖,

此時,另外兩個執行緒競爭寫鎖,某個執行緒會獲取到鎖,繼續往下執行,如果在w.lock()后沒有v = m.get(key); 再次查詢快取的資料,則這個執行緒會直接查詢資料庫,將資料寫入快取后釋放寫鎖,最后一個執行緒同樣會按照這個流程執行,

這里,實際上第一個執行緒已經查詢過資料庫,并且將資料寫入快取了,其他兩個執行緒就沒必要再次查詢資料庫了,直接從快取中查詢出相應的資料即可,所以,在w.lock()后添加v = m.get(key); 再次查詢快取的資料,能夠有效的減少高并發場景下重復查詢資料庫的問題,提升系統的性能,

讀寫鎖的升降級

關于鎖的升降級,小伙伴們需要注意的是:在ReadWriteLock中,鎖是不支持升級的,因為讀鎖還未釋放時,此時獲取寫鎖,就會導致寫鎖永久等待,相應的執行緒也會被阻塞而無法喚醒,

雖然不支持鎖升級,但是ReadWriteLock支持鎖降級,例如,我們來看看官方的ReentrantReadWriteLock示例,如下所示,

class CachedData {
 Object data;
 volatile boolean cacheValid;
 final ReentrantReadWriteLock rwl = new ReentrantReadWriteLock();
 void processCachedData() {
 rwl.readLock().lock();
 if (!cacheValid) {
 // Must release read lock before acquiring write lock
 rwl.readLock().unlock();
 rwl.writeLock().lock();
 try {
 // Recheck state because another thread might have
 // acquired write lock and changed state before we did.
 if (!cacheValid) {
                    data = ...
 cacheValid = true;
 }
 // Downgrade by acquiring read lock before releasing write lock
 rwl.readLock().lock();
 } finally {
 rwl.writeLock().unlock(); // Unlock write, still hold read
 }
 }
 try {
 use(data);
 } finally {
 rwl.readLock().unlock();
 }
 }
}}

資料同步問題

首先,這里說的資料同步指的是資料源和資料快取之間的資料同步,說的再直接一點,就是資料庫和快取之間的資料同步,

這里,我們可以采取三種方案來解決資料同步的問題,如下圖所示

超時機制

這個比較好理解,就是在向快取寫入資料的時候,給一個超時時間,當快取超時后,快取的資料會自動從快取中移除,此時程式再次訪問快取時,由于快取中不存在相應的資料,查詢資料庫得到資料后,再將資料寫入快取,

定時更新快取

這種方案是超時機制的增強版,在向快取中寫入資料的時候,同樣給一個超時時間,與超時機制不同的是,在程式后臺單獨啟動一個執行緒,定時查詢資料庫中的資料,然后將資料寫入快取中,這樣能夠在一定程度上避免快取的穿透問題,

 

點擊關注,第一時間了解華為云新鮮技術~

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/553800.html

標籤:Java

上一篇:(Java)記一次通過API遞回分頁“爬取”網頁資料的開發經歷

下一篇:返回列表

標籤雲
其他(159976) Python(38185) JavaScript(25464) Java(18153) C(15234) 區塊鏈(8268) C#(7972) AI(7469) 爪哇(7425) MySQL(7217) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5344) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4579) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1977) 功能(1967) Web開發(1951) HtmlCss(1950) C++(1927) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1878) .NETCore(1862) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 如何用ReadWriteLock實作一個通用的快取中心?

    摘要:在并發場景中,Java SDK中提供了ReadWriteLock來滿足讀多寫少的場景。 本文分享自華為云社區《【高并發】基于ReadWriteLock開了個一款高性能快取》,作者:冰 河。 寫在前面 在實際作業中,有一種非常普遍的并發場景:那就是讀多寫少的場景。在這種場景下,為了優化程式的性能 ......

    uj5u.com 2023-05-31 07:36:29 more
  • (Java)記一次通過API遞回分頁“爬取”網頁資料的開發經歷

    在最近的互聯網專案開發中,需要獲取用戶的訪問ip資訊,并進行后續統計分析。
    這些ip資訊是在第三方的服務中分組存放的,且每個分組都都是分頁(1頁10條)存放的,如果一次性訪問大量的資料,API很有可能會報錯。
    怎樣通過HTTP的方式去獲取到資訊,并且模擬瀏覽器每頁每頁獲取10條的資訊,且持久到資料庫... ......

    uj5u.com 2023-05-31 07:36:14 more
  • 驅動開發:內核讀寫記憶體浮點數

    如前所述,在前幾章內容中筆者簡單介紹了`記憶體讀寫`的基本實作方式,這其中包括了`CR3切換`讀寫,`MDL映射`讀寫,`記憶體拷貝`讀寫,本章將在如前所述的讀寫函式進一步封裝,并以此來實作驅動讀寫記憶體浮點數的目的。記憶體`浮點數`的讀寫依賴于`讀寫記憶體位元組`的實作,因為浮點數本質上也可以看作是一個位元組集... ......

    uj5u.com 2023-05-31 07:30:20 more
  • c++11: all_of 、 any_of 和 none_of

    242. 有效的字母異位詞 ```cpp class Solution { public: bool isAnagram(string s, string t) { if(s.size()!=t.size()) return false; int ans[26]={0}; for(auto& ch: ......

    uj5u.com 2023-05-31 07:30:06 more
  • Groovy 基于Groovy實作MD5加密

    groovy 3.0.7 ## 代碼實作 ### 實作方式1 ```groovy import java.security.MessageDigest; public class MD5Utils { public final static String MD5(String s) { char[] ......

    uj5u.com 2023-05-30 07:45:21 more
  • 【QCustomPlot】性能提升之修改原始碼(版本 V2.x.x)

    QCustomPlot 是開源專案,原始碼撰寫十分規范,想要理解它的可視化思路不算特別困難。我在這篇隨筆中總結一下常用的原始碼修改技巧,下面的每一個技巧都是獨立的,不同技巧中添加的代碼無任何依賴關系,相互之間也不會引發任何沖突,不會影響 QCustomPlot 原生的介面。示例中使用的 QCustomP... ......

    uj5u.com 2023-05-30 07:44:27 more
  • HashMap底層原理

    HashMap是Java中常用的資料結構之一,它提供了高效的鍵值對存盤和檢索功能。下面是HashMap底層的詳細原理介紹: 1. 資料結構:HashMap底層使用陣列和鏈表(或紅黑樹)的組合實作。它通過哈希演算法將鍵轉換為陣列索引,并將值存盤在對應索引位置上。 2. 哈希演算法:當我們向HashMap中 ......

    uj5u.com 2023-05-30 07:44:19 more
  • 常用的排序演算法總結

    # 常用的排序演算法 ## 一、冒泡排序 冒泡排序(Bubble Sort),是一種較簡單的排序演算法。 它重復地走訪過要排序的元素列,依次比較兩個相鄰的元素,如果順序(如從大到小、首字母從Z到A)錯誤就把他們交換過來。走訪元素的作業是重復地進行直到沒有相鄰元素需要交換,也就是說該元素列已經排序完成。 ......

    uj5u.com 2023-05-30 07:44:15 more
  • Python連接es筆記二之查詢方式匯總

    > 本文首發于公眾號:Hunter后端 > 原文鏈接:[Python連接es筆記二之查詢方式匯總](https://mp.weixin.qq.com/s/0Yn5c-U9pBWrSC5HrCgWog) 上一節除了介紹使用 Python 連接 es,還有最簡單的 query() 方法,這一節介紹一下幾 ......

    uj5u.com 2023-05-30 07:44:09 more
  • 【python基礎】基本資料型別-數字型別

    Python3 支持int(整型資料)、float(浮點型資料)、bool(布爾型別) # 1.int(整型資料) 在Python 3里,**只有一種整數型別 int,表示為長整型**。像大多數語言一樣,數值型別的賦值和計算都是很直觀的。 ## 1.1數值運算 撰寫程式如下所示 ![image](h ......

    uj5u.com 2023-05-30 07:43:56 more