作者：劉須華
一、背景概述： R2M 快取的使用，極大的提升了應用程式的性能和效率，特別是資料查詢方面，而快取最常見的問題是快取穿透、擊穿和雪崩，在高并發下這三種情況都會有大量請求落到資料庫，導致資料庫資源占滿，引起資料庫故障，平時對快取測驗時除了關注增刪修改查詢等基本功能，應該要重點關注快取穿透、擊穿和雪崩三種例外場景的測驗覆寫，避免出現線上事故，
二、基本概念說明：
1、快取擊穿：是指在超級熱點資料突然過期，導致針對超級熱點的資料請求在過期期間直接打到資料庫，這樣資料庫服務器會因為某一超熱資料導致壓力過大而崩掉，
2、快取穿透：是指查找的資料在快取和資料庫中都不存在，導致每一次請求資料從快取中都獲取不到，而將請求打到資料庫服務器，但資料庫中也沒有對應的資料，最后每一次請求都到資料庫；如果在高并發場景或有人惡意攻擊，就會導致后臺資料庫服務器壓力增大，最終系統可能崩掉，
3、快取雪崩：是指突然快取層不可用，導致大量請求直接打到資料庫，最終由于資料庫壓力過大可能導致系統崩掉，快取層不可用指以下兩方面：快取服務器宕機，系統將請求打到資料庫； 快取資料突然大范圍集中過期失效，導致大量請求打到資料庫重新加載資料，與快取擊穿的區別在于這里針對很多 key 快取，前者則是某一個 key，
三、測驗工具 (非必須)：
1、使用 Titan 壓測平臺進行并發請求測驗
2、使用 jmeter 工具模擬并發請求
四、測驗方法舉例說明 (非必須)：
環境：測驗環境
工具：jmeter
（1）快取穿透場景
測驗方法：查詢一個根本不存在的資料，快取層和存盤層都不會命中，
查詢介面相關代碼實作：
通過 JMETER 模擬多次重復呼叫：單執行緒重復呼叫
查看日志結果：從日志可以看出：執行并發請求后， 所有請求每次都走向了資料庫，
預防方案：
當資料庫查詢為空時，將快取賦值默認值，后續查詢都走快取，減少資料庫壓力，
上述介面，增加賦值為 empty，則第一次查詢到資料庫為空，后續查詢都查詢到快取中，快取值為 empty，
再次執行并發測驗：從日志可以看出，可以看出每個 ID 都只執行了一次資料庫查詢并設定快取，之后請求都命中了快取，有效防止了快取穿透問題，
（2）快取擊穿場景
測驗方法：對某個 Key 有大量的并發請求，這時從快取中洗掉這個 key，模擬熱 key 過期失效的場景，這個時候大并發的請求可能會瞬間把后端 DB 壓垮，
介面相關部分代碼實作：
操作步驟：
1、查詢 pin 為 liuxuhua 的請求，這時 pin 為 liuxuhua 的資料會加載到快取
2、再次查詢 pin 為 liuxuhua 的請求，命中快取
3、50 并發請求 pin 為 liuxuhua 的資料，這個時候請求全部命中快取
4、將 pin 為 liuxuhua 的快取手動洗掉，模擬快取失效
5、50 并發請求 pin 為 liuxuhua 的資料，這個時候大量請求走向資料庫，pin 為 liuxuhua 的快取被擊穿
查看日志結果:
預防方案：
在設定默認快取值的基礎上，進行加鎖處理，只有拿到鎖的第一個執行緒去請求資料庫，然后插入快取，當然每次拿到鎖的時候都要去查詢一下快取有沒有，
從日志記錄可以看到只有一個請求執行了資料庫查詢并設定快取，其他請求都命中了快取， 有效防止了快取的擊穿，
（3）快取雪崩
測驗方法：對多個使用到快取的介面進行并發呼叫，設定這些快取時間已過期（即洗掉快取），呼叫時這些介面查詢快取時無資料，去查詢資料庫，這些請求都指向資料庫，資料庫壓力增大，耗時增加，
模擬介面：
通過 JMETER 模擬多次重復呼叫：單執行緒多介面重復呼叫
查看日志結果：可以看出大量請求到達資料庫，并且同一個 pin 或 id 執行了多次資料庫查詢
預防方案：
增加限流操作，即介面頻繁呼叫時，增加一個快取，設定時間為 3s，3s 內處理一定次數的請求，超過限制次數的請求直接回傳結果，不做處理，
介面：3s 內處理 6 次請求，超過則不處理；
從日志可以看出：可以看到每個都只查詢了一次資料庫并設定快取，之后的請求都命中了快取
五、測驗指標：(或者叫通過標準，包括關注點以及意義)
1、模擬快取穿透場景測驗，每個不存在的資料都只執行了一次資料庫查詢并設定快取，之后請求都命中了快取，有效防止了快取穿透問題，
2、模擬快取雪崩場景測驗，每個快取失效的資料都只執行了一次資料庫查詢并設定快取，之后請求都命中了快取，
3、模擬快取擊穿場景測驗，快取失效的那個資料只有一個請求執行了資料庫查詢并設定快取，其他請求都命中了快取，
六、適用業務場景：
1、秒殺活動
2、熱門營銷活動
3、618 和雙 11 大促
七、研發側常見解決方案（參考）：
1、快取穿透解決方案：
1、快取空值 之所以發生穿透，是因為快取中沒有存盤這些資料的 key，從而每次都查詢資料庫 我們可以為這些 key 在快取中設定對應的值為 null，后面查詢這個 key 的時候就不用查詢資料庫了 當然為了健壯性，我們要對這些 key 設定過期時間，以防止真的有資料
2、BloomFilter BloomFilter 類似于一個 hbase set 用來判斷某個元素（key）是否存在于某個集合中 我們把有資料的 key 都放到 BloomFilter 中，每次查詢的時候都先去 BloomFilter 判斷，如果沒有就直接回傳 null 注意 BloomFilter 沒有洗掉操作，對于洗掉的 key，查詢就會經過 BloomFilter 然后查詢快取再查詢資料庫，所以 BloomFilter 可以結合快取空值用，對于洗掉的 key，可以在快取中快取 null 快取擊穿
2、快取擊穿解決方案：
采用分布式鎖，只有拿到鎖的第一個執行緒去請求資料庫，然后插入快取，當然每次拿到鎖的時候都要去查詢一下快取有沒有
3、快取雪崩解決方案：
1、采用集群，降低服務宕機的概率
2、ehcache 本地快取 + 限流 & 降級
3、均勻過期，通常可以為有效期增加隨機值
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/536097.html
標籤：其他
上一篇：針對某客服系統的組合攻擊