目錄
- 前言
- 1. 事件
- 1.1 檔案事件
- 1.1.1 I/O 多路復用程式的實作
- 1.1.2 事件型別與 API
- 1.1.3 檔案事件的處理器
- 1.2 時間事件
- 1.2.1 API
- 1.2.2 serverCron 函式
- 1.3 事件的調度與執行
- 1.4 Redis 的單行程單執行緒誤區
- 1.1 檔案事件
- 2. 客戶端
- 2.1 客戶端屬性
- 2.1.1 嵌套字描述符
- 2.1.2 名字
- 2.1.3 標志
- 2.1.4 輸入緩沖區
- 2.1.5 命令與命令引數
- 2.1.6 命令的實作函式
- 2.1.7 輸出緩沖區
- 2.1.8 身份驗證
- 2.1.9 時間
- 2.2 客戶端的創建與關閉
- 2.2.1 創建普通客戶端
- 2.2.2 關閉普通客戶端
- 2.2.3 Lua 腳本的偽客戶端
- 2.2.4 AOF 檔案的偽客戶端
- 2.1 客戶端屬性
- 最后
前言
參考資料：《Redis設計與實作 第二版》；
第二部分為單機資料庫的實作，主要由以下模塊組成：資料庫、持久化、事件、客戶端與服務器；
本篇將介紹 Redis 中的事件與客戶端，其中事件有兩種：檔案事件與時間事件；客戶端主要介紹屬性，以及創建與關閉；
與本章相關的 Redis 命令總結在下篇文章，歡迎點擊收藏，本篇將不再重復：
《Redis常用命令及示例總結（API）》：https://www.cnblogs.com/dlhjw/p/15639773.html
1. 事件
- Redis 服務器是一個事件驅動程式，服務器需要處理以下兩類事件：
- 檔案事件（file event）：Redis 服務器通過嵌套字與客戶端進行連接，檔案事件就是服務器對嵌套字操作的抽象，服務器與客戶端的通信會產生回應檔案事件，服務器通過監聽并處理這些事件來完成一系列網路通信操作；
- 時間事件（time event）：Redis 服務器中的一些操作需要在給定事件點執行，而時間事件就是服務器對這類定時操作的抽象；
1.1 檔案事件
1.1.1 I/O 多路復用程式的實作
- Redis 使用檔案事件處理器（file event handler）處理檔案事件：
- 檔案事件處理器是基于 Reactor 模式實作的網路通信程式；
- 檔案事件處理器的組成：
- 由四個部分：套接字、I/O 多路復用程式、檔案事件分派器、事件處理器；
- I/O 多路復用技識訓將所有產生事件的套接字放在一個佇列，逐個傳送套接字；
- I/O 多路復用技術的底層實作：
- 通過包裝常見的 select、epoll、evport 和 kqueue 這些 I/O 多路復用函式庫來實作；
- I/O 多路復用函式庫實作了相同的API，底層實作跨越互換；
- 程式會在編譯時自動選擇系統中性能最高的 I/O 多路復用函式庫作為底層實作；
1.1.2 事件型別與 API
- 事件的型別：
- AE_READABLE 事件：（優先）當套接字可讀時、或有新的可應答套接字出現時；
- AE_WRITABLE 事件：當套接字變成可寫時；
- 相關 API：
ae.c/aeCreateFileEvent：將給定套接字的給定事件加入到 I/O 多路復用程式的監聽范圍之內，并對事件和事件處理器進行關聯；ae.c/aeGetFileEvents：接受一個套接字描述符，回傳該套接字正在被監聽的事件型別；ae.c/aeWait：在給定時間內阻塞并等待套接字的給定型別事件產生；ae.c/aeApiPoll：在指定時間內，阻塞并等待所有被 aeCreateFileEvent 函式設定為監聽狀態的套接字產生檔案事件；ae.c/aeProcessEvents：檔案事件分派器；ae.c/aeGetApiName：回傳當前 I/O 多路復用程式底層的多路復用函式庫名稱；
1.1.3 檔案事件的處理器
- Redis 為檔案事件撰寫多個處理器，用于實作不同的網路通信需求，有：
-
連接應答處理器：
networking.c/acceptTcpHandler；
-
命令請求處理器：
networking.c/readQueryFromClient；
-
- 命令回復處理器：
networking.c/sendReplyToClient；
- 客戶端與服務端的通信程序：
1.2 時間事件
- 時間事件分兩類：
- 定時事件：事件處理器回傳
ae.h/AE_NOMORE； - 周期性事件：事件處理器回傳非
ae.h/AE_NOMORE的整數值
- 定時事件：事件處理器回傳
- 一個時間事件的三個屬性組成：
- id：唯一標識，新事件 id 大于舊事件 id；
- when：毫秒精度 UNIX 時間戳，記錄時間事件到達（arrive）時間；
- timeProc：時間事件處理器；
- 時間事件的實作：服務器將所有時間事件保存在一個無序鏈表，每當時間事件執行器運行時，它就遍歷整個鏈表，查找所有已到達的時間事件，并呼叫事件處理器；
- 無序鏈表不影響事件處理器的性能；
1.2.1 API
ae.c/aeCreateTimeEvent：創建時間事件，這個時間事件將在當前時間的 milliseconds 毫秒后到達，事件處理器為 proc；ae.c/aeDeleteFileEvent：根據 id 從服務器中洗掉對應的時間事件；ae.c/aeSearchNearestTimer：回傳到達時間距離當前時間最接近的那個時間事件；ae.c/processTimeEvents：時間事件執行器，遍歷所有時間事件，并呼叫處理器處理已到達的時間事件，實際不存在，處理時間事件實際由ae.c/aeProcessEvents函式負責；
1.2.2 serverCron 函式
- Redis 服務器需要定期對自身資源和狀態進行檢查和調整，從而確保服務器可以長期、穩定地運行，這個操作由
redis.c/serverCron函式執行，其主要作業包括：- 更新服務器的各類資訊，如時間、記憶體占用、資料庫占用情況；
- 清理資料庫中的過期鍵值對；
- 關閉和清理連接失敗的客戶端；
- 嘗試進行 AOF 或 RDB 持久化操作；
- 如果服務器是主服務器，需要對服務器進行定期同步；
- 如果服務器是集群模式，對集群進行定期同步和連接測驗；
1.3 事件的調度與執行
- Redis 服務器對檔案事件與時間事件的調度由
ae.c/aeProcessEvents函式負責； ae.c/aeProcessEvents函式的處理邏輯：- 獲取到達時間離當前時間最接近的時間事件；
- 計算最接近的時間事件距離到達還有多少毫秒 remaind_ms；
- 事件到達則將 remaind_ms 設為0；
- 根據 remaind_ms 的值創建 timeval 結構；
- 阻塞并等待檔案事件產生，最大阻塞事件由傳入的 timeval 結構決定；
- 若 remaind_ms 的值為0，那么 aeApiPoll 呼叫后馬上回傳，不阻塞；
- 處理所有已產生的檔案事件；
- 處理所有已到達的時間事件；
- 事件處理角度下的服務器運行流程：
- 事件的調度和執行規則：
aeApiPoll函式的最大阻塞時間由到達時間最接近當前時間的事件事件決定；- 檔案事件和時間事件的處理都是同步、有序、原子地執行，服務器不會中途中斷事件處理，也不會對事件進行搶占；
- 時間事件會將非常耗時的持久化操作放到子執行緒或子行程執行；
- 時間事件在檔案事件之后執行，并且事件間不會出現搶占，所以時間事件的實際處理時間通常比時間事件的到達時間稍晚一些；
1.4 Redis 的單行程單執行緒誤區
- Redis 并不完全是單行程單執行緒的，在進行 RBD 持久化，執行 BGSAVE 命令時，會創建一個子行程在后臺進行備份；
- Redis 的單行程指的是：檔案事件處理器是單行程單執行緒模式運行的，也即 Redis 處理大部分請求時是用單執行緒；
- Redis 使用單執行緒模式還能保持高效率，主要是因為：
- 純記憶體操作（主要）；
- 核心是基于非阻塞的 I/O 多路復用機制（主要）；
- 單執行緒避免了多執行緒的頻繁背景關系切換問題；
- I/O 多路復用程式總是將所有產生事件的套接字放到一個佇列，以有序、同步、每次一個套接字的方式向檔案事件分派器傳送套接字；
- Redis 的 I/O 多路復用程式通過包裝常見的底層 I/O 多用復用函式庫實作，程式在編譯時自動選擇系統中性能最高的 I/O 多路復用函式庫作為底層實作；
2. 客戶端
-
Redis 服務器狀態結構 clients 屬性是一個鏈表，保存了所有客戶端狀態：
struct redisServer{ //... //客戶端鏈表 list *clients; };
2.1 客戶端屬性
- 客戶端狀態包含的屬性可以分為兩類：
- 通用屬性：很少與特定功能有關，本章重點介紹；
- 與特定功能相關的屬性：如操作資料庫時的 db 屬性與 dicrid 屬性，執行事務時需要的 mstate 屬性，執行 WATCH 命令時需要用到的 watched_keys 屬性等；
2.1.1 嵌套字描述符
- 客戶端狀態的 fd 屬性記錄了客戶端正在使用的嵌套字描述符：
typedef struct redisClient{ //... //嵌套字描述符 int fd; } redisClient;- fd 為 -1 時：偽客戶端，命令請求來源于 AOF 檔案或 Lua 腳本，不需要套接字，用于載入 AOF 檔案并還原資料庫狀態和執行 Lua 腳本中包含的 Redis命令；
- fd 大于 -1 時：普通客戶端，服務器使用
fd屬性記錄客戶端套接字的描述符；
2.1.2 名字
- 默認情況，一個連接到服務器的客戶端是沒有名字的；
- 可以使用 CLIENT SETNAME 命令為客戶端設定一個名字；
- 使用 CLIENT GETNAME 命令獲取當前連接的名字；
- 客戶端名字記錄在客戶端狀態的 name 屬性里：
typedef struct redisCilent{ //... //名字 robj *name; } redisClient;
2.1.3 標志
-
客戶端的標志屬性 flags 記錄了客戶端的角色，以及客戶端目前所處的狀態：
typedef struct redisClient{ //... //標志 int flags; } redisClient;- flags屬性可以是單個標志，也可以是多個二進制；
-
每個標志使用一個常量表示，一部分記錄了客戶端角色，另一部分標志記錄了客戶端目前所處狀態；
-
通常情況下，Redis 只會將那些對資料庫進行修改的命令寫入 AOF 檔案，并復制到各個從服務器；
-
PUBSUB 和 SCRIPT LOAD 命令除外，帶有副作用，前者會改變接受訊息的客戶端狀態，服務端需要使用 REDIS_FORCE_AOF 標志，后者修改服務器狀態，服務器狀態需要REDIS_FORCE_AOF 和 REDIS_FORCE_REPL 標志；
-
標志在
redis.h檔案里面定義；
2.1.4 輸入緩沖區
-
客戶端狀態的輸入緩沖區用于保存客戶端發送的命令請求；
typedef struct redisClient{ //... //輸入緩沖區 sds querybuf; } redisClient;
- 輸入緩沖區的大小會根據輸入內容動態地縮小或擴大，最大不能超過 1GB；
2.1.5 命令與命令引數
-
服務器將客戶端的命令請求保存到客戶端狀態的
querybuf屬性后，服務器對命令請求內容分析，得出命令引數及引數個數，保存到客戶端狀態的argv和argc屬性； -
argv屬性是一個陣列，陣列中的每個項都是一個字串物件，argv[0]是要執行的命令，之后的其他項是傳給命令的引數； -
argc屬性負責記錄argv陣列的長度；typedef struct redisClient{ //... //命令及其引數陣列 robj **argv; //陣列的長度 int argc; } redisClient;
2.1.6 命令的實作函式
- 服務器根據項
argv[0]的值，在命令表中查找命令所對應的命令實作函式；
-
在命令表找到
argv[0]對應的redisCommand結構后，會將客戶端狀態的cmd指標指向這個結構；typedef struct redisClient{ //... //命令的實作函式 struct redisCommand *cmd; } redisClient;
2.1.7 輸出緩沖區
- 執行命令所得的命令回復會被保存在客戶端狀態的輸出緩沖區里面，每個客戶端都有兩個輸出緩沖區可用：
-
固定大小的緩沖區：保存長度較小的回復，默認 16KB；
typedef struct redisClient{ //... //位元組陣列，保存緩沖區 char buf[REDIS_REPLY_CHUNK_BYTES]; //buf已使用的位元組數量 int bufpos; } -
可變大小的緩沖區：保存長度較大的回復，使用鏈表；
typedef struct redisClient{ //... //鏈表 list *reply; } redisClient;
-
2.1.8 身份驗證
-
客戶端狀態的
authenticated屬性用于記錄客戶端是否通過了身份驗證；typedef struct redisClient{ //... //身份驗證屬性 int authenticated; } redisClient;- authenticated 為 0 時：身份未驗證；
- authenticated 為 1 時：身份驗證；
-
authenticated屬性僅在服務器啟用身份驗證功能時用，若該功能未開啟，即使authenticated值為 0，服務器也不會拒絕客戶端的命令請求；
2.1.9 時間
typedef struct redisClient{
//...
//記錄了創建客戶端的時間
time_t ctime;
//記錄客戶端與服務器最后一次進行互動（interaction）的時間，即空轉時間
time_t lastinteraction;
//輸出緩沖區第一次到達軟性限制（soft limit）的時間
time_t obuf_soft_limit_reached_time;
} redisClient;
2.2 客戶端的創建與關閉
2.2.1 創建普通客戶端
- 客戶使用 connect 函式連接服務器時，服務器呼叫連接事件處理器，為客戶端創建相應的客戶端狀態，并將新的客戶端狀態添加到服務器狀態結構 clients 鏈表末尾；
2.2.2 關閉普通客戶端
-
一個普通客戶端可以因為多種原因而被關閉；
- 如：網路連接關閉、發送了不合協議格式的命令請求、成為 CLIENT KILL 命令的到目標、空轉時間超時、命令請求超過輸入緩沖區限制大小（1 GB）、輸出緩沖區的大小超出限制；
-
服務器使用兩種模式限制客戶端輸出緩沖區的大小：
- 硬性模式（hard limit）：緩沖區大小超過所硬性限制所設定大小，立即關閉客戶端；
- 軟性模式（soft limit）：緩沖區大小超過軟性限制所設定大小，并且持續時間超過設定的時間，才會關閉客戶端；
2.2.3 Lua 腳本的偽客戶端
-
服務器在初始化時創建負責執行 Lua 腳本中包含的 Redis 命令的偽客戶端，并將其關聯在服務器狀態結構的
lua_client屬性；struct redisServer{ //... //Lua 腳本的偽客戶端 redisClient *lua_client; }; -
偽客戶端在服務器運行的整個生命周期中會一直存在，只有服務器被關閉時，這個客戶端才會被關閉；
2.2.4 AOF 檔案的偽客戶端
- 服務器在載入 AOF 檔案時，會創建用于執行 AOF 檔案中包含的 Redis 命令的偽客戶端，并在載入完成后，關閉客戶端；
最后
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/374451.html
標籤：其他