來源:https://zhenbianshu.github.io/
Redis 作為一個非常成功的資料庫,提供了非常豐富的資料型別和命令,使用這些,我們可以輕易而高效地完成很多快取操作,可是總有一些比較特殊問題或需求需要解決,這時候可能就需要我們自己定制自己的 Redis 資料結構和命令,
Redis命令問題
“執行緒安全”問題
我們都知道 Redis 是單執行緒的,可是它怎么會有 執行緒安全 問題呢?
我們正常理解的執行緒安全問題是指單行程多執行緒模型內部多個執行緒操作行程內共享記憶體導致的資料資源充突,而 Redis 的執行緒安全問題的產生,并不是來自于 Redis 服務器內部,
Redis 作為資料服務器,就相當于多個客戶端的共享記憶體,多個客戶端就相當于同一行程下的多個執行緒,如果多個客戶端之間沒有良好的資料同步策略,就會產生類似執行緒安全的問題,
典型場景是:
- Redis 記憶體儲了一個用戶的狀態:
user5277=idle; - 客戶端連接 A 讀取了用戶狀態,獲取到用戶的空閑狀態
status = get("user5277"); - 客戶端連接 B 也同樣讀取了用戶狀態;
- 客戶端連接 A 給用戶安排了一個任務,并將 Redis 內用戶狀態置為忙碌
set("user5277", "busy"); - 客戶端連接 B 同樣設定用戶為忙碌狀態,
- 可是此時用戶卻被同時分配了兩個任務,
導致這個問題的原因就是雖然 Redis 是單執行緒的,能保證命令的序列化,但由于其執行效率很高,多個客戶端的命令之間不做好請求同步,同樣會造成命令的順序錯亂,
當然這個問題也很好解決,給用戶狀態加鎖就行了,使同一時間內只能有一個客戶端操作用戶狀態,不過加鎖我們就需要考慮鎖粒度、死鎖等問題了,無疑添加了程式的復雜性,不利于維護,
效率問題
Redis 作為一個極其高效的記憶體資料服務器,其命令執行速度極快,之前看過阿里云 Redis 的一個壓測結果,執行效率可以達到 10W寫QPS, 60W讀QPS,那么,它的效率問題又來自何處呢?
答案是網路,做 Web 的都知道,效率優化要從網路做起,服務端又是優化代碼,又是優化資料庫,不如網路連接的一次優化,而網路優化最有效的就是減少請求數,我們要知道執行一次記憶體訪問的耗時約是 100ns,而不同機房之間來回一次約需要 500000ns,其中的差距可想而知,
Redis在單機內效率超高,但工業化部署總不會把服務器和 Redis 放在同一臺機器上,如果觸碰到效率瓶頸的話,那就是網路,
典型場景就是我們從 Redis 里讀出一條資料,再使用這條資料做鍵,讀取另外一條資料,這樣來來回回,便有兩次網路往返,
導致這種問題的原因就是 Redis 的普通命令沒有服務端計算的能力,無法在服務器進行復合命令操作,雖然有 Redis 也提供了 pipeline 的特性,但它需要多個命令的請求和回應之間沒有依賴關系,想簡化多個相互依賴的命令就只能將資料拉回客戶端,由客戶端處理后再請求 Redis,
綜上,我們要更高效更方便的使用 Redis 就需要自己“定制”一些命令了,
內嵌Lua的執行
萬幸 Redis 內嵌了 Lua 執行環境,支持 Lua 腳本的執行,通過執行 Lua 腳本,我們可以把多個命令復合為一個 Lua 腳本,通過 Lua 腳本來實作上文中提到的 Redis 命令的次序性和 Redis 服務端計算,
Lua
Lua 是一個簡潔、輕量、可擴展的腳本語言,它的特性有:
- 輕量:原始碼包只有核心庫,編譯后體積很小,
- 高效:由 ANSI C 寫的,啟動快、運行快,
- 內嵌:可內嵌到各種編程語言或系統中運行,提升靜態語言的靈活性,如 OpenResty 就是將 Lua 嵌入到 nginx 中執行,
而且完全不需要擔心語法問題,Lua 的語法很簡單,分分鐘使用不成問題,
執行步驟
Redis 在 2.6 版本后,啟動時會創建 Lua 環境、載入 Lua 庫、定義 Redis 全域表格、存盤 redis.pcall 等 Redis 命令,以準備 Lua 腳本的執行,
一個典型的 Lua 腳本執行步驟如下:
- 檢查腳本是否執行過,沒執行過使用腳本的 sha1 校驗和生成一個 Lua 函式;
- 為函式系結超時、錯誤處理勾子;
- 創建一個偽客戶端,通過這個偽客戶端執行 Lua 中的 Redis 命令;
- 處理偽客戶端的回傳值,最侄訓傳給客戶端;

雖然 Lua 腳本使用的是偽客戶端,但 Redis 處理它會跟普通客戶端一樣,也會將執行的 Redis 命令進行 rdb aof 主從復制等操作,
使用
Lua 腳本的使用可以通過 Redis 的 EVAL 和 EVALSHA 命令,
EVAL 適用于單次執行 Lua 腳本,執行腳本前會由腳本內容生成 sha1 校驗和,在函式表內查詢函式是否已定義,如未定義執行成功后 Redis 會在全域表里快取這個腳本的校驗和為函式名,后續再次執行此命令就不會再創建新的函式了,
而要使用 EVALSHA 命令,就得先使用 SCRIPT LOAD 命令先將函式加載到 Redis,Redis 會回傳此函式的 sha1 校驗和, 后續就可以直接使用這個校驗和來執行命令了,
以下是使用上述命令的例子:
127.0.0.1:6379> EVAL "return 'hello'" 0 0
"hello"
127.0.0.1:6379> SCRIPT LOAD "return redis.pcall('GET', ARGV[1])"
"20b602dcc1bb4ba8fca6b74ab364c05c58161a0a"
127.0.0.1:6379> EVALSHA 20b602dcc1bb4ba8fca6b74ab364c05c58161a0a 0 test
"zbs"
EVAL 命令的原型是 EVAL script numkeys key [key ...] arg [arg ...],在 Lua 函式內部可以使用 KEYS[N] 和 ARGV[N] 參考鍵和引數,需要注意 KEYS 和 ARGV 的引數序號都是從 1 開始的,
還需要注意在 Lua 腳本中,Redis 回傳為空時,結果是 false,而 不是 nil;
Lua 腳本實體
下面寫幾個 Lua 腳本的實體,用來介紹語法的,僅供參考,
- Redis 里 hashSet A 的 欄位 B 的值是 C,取出 Redis 里鍵為 C 的值,
// 使用: EVAL script 2 A B
local tmpKey = redis.call('HGET', KEYS[1], KEYS[2]);
return redis.call('GET', tmpKey);
- 一次 lpop 出多個值,直到值為 n,或 list 為空(pipeline 也可輕易實作);
// 使用: EVAL script 2 list count
local list = {};
local item = false;
local num = tonumber(KEYS[2]);
while (num > 0)
do
item = redis.call('LPOP', KEYS[1]);
if item == false then
break;
end;
table.insert(list, item);
num = num - 1;
end;
return list;
- 獲取 zset 內 score 最多的 n 個元素 對應 hashset 中的詳細資訊;
local elements = redis.call('ZRANK', KEYS[1], 0, KEY[2]);
local detail = {};
for index,ele in elements do
local info = redis.call('HGETALL', ele);
table.insert(detail, info);
end;
return detail;
基本使用語法就是如此,更多應用就看各個具體場景了,
一些思考
實作之外,還要一些東西要思考:
使用場景
首先來總結一下 Redis 中 Lua 的使用場景:
- 可以使用 Lua 腳本實作原子性操作,避免不同客戶端訪問 Redis 服務器造成的資料沖突,
- 在前后多次請求的結果有依賴時,可以使用 Lua 腳本把多個請求整合為一個請求,
注意點
使用 Lua 腳本,我們還需要注意:
- 要保證安全性,在 Lua 腳本中不要使用全域變數,以免污染 Lua 環境,雖然使用全域變數全報錯,Lua 腳本停止執行,但還是在定義變數時添加
local關鍵字, - 要注意 Lua 腳本的時間復雜度,Redis 的單執行緒同樣會阻塞在 Lua 腳本的執行中,
- 使用 Lua 腳本實作原子操作時,要注意如果 Lua 腳本報錯,之前的命令同樣無法回滾,
- 一次發出多個 Redis 請求,但請求前后無依賴時,使用
pipeline,比 Lua 腳本方便,
小結
最近作業有了較大的變動,從業務到技術堆疊都跟原來完全不同了,所有代碼和業務都脫離了自己掌控的感覺真的很不爽,作業中全是“開局一個搜索引擎,語法全靠查”,每天還要熬到很晚熟悉新的東西,有點小累,果然換作業就是找罪受啊,
不過走出舒適區后的充實感也在提醒自己正在不停進步,倒也挺有成就感的,
近期熱文推薦:
1.1,000+ 道 Java面試題及答案整理(2021最新版)
2.終于靠開源專案弄到 IntelliJ IDEA 激活碼了,真香!
3.阿里 Mock 工具正式開源,干掉市面上所有 Mock 工具!
4.Spring Cloud 2020.0.0 正式發布,全新顛覆性版本!
5.《Java開發手冊(嵩山版)》最新發布,速速下載!
覺得不錯,別忘了隨手點贊+轉發哦!
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/286738.html
標籤:Java
