Redis初識-有解無憂

什么是Redis

Redis是一個開源的，基于記憶體的存盤系統，它可以用作資料庫、快取和訊息中間，它支持多種資料結構，如字串（String）、散列（Hash）、串列（List）、集合（Set）、有序集合（ZSet）、位圖（BitMap）、地理空間（Geo）、HyperLogLog，Redis內置了復制（Replication）、LUA腳本、LRU驅動事件、事務以及不同級別的磁盤持久化模式，并且可通過哨兵和磁區提供高可用特性，

Redis有哪些優點，為什么要用 Redis？

內部支持多種資料結構，能夠很好的幫助我們解決在不同業務場景中出現的各類問題，如：
- String: 快取字串、計數器、id生成器等，
- Hash: 快取結構化物件
- List: 快取物件集合、實作分布式雙端佇列
- Set: 去重、共同好友、抽獎
- ZSet: 動態排行、延遲佇列
- BitMap: 布隆過濾器
- Geo: 快取地理坐標
- HyperLogLog: 提供不精確的去重計數方案，可用于點贊數統計
高性能，基于記憶體和IO多路復用使得Redis具備優秀的讀寫性能和高并發支持，支持集群部署進一步提高存盤服務的吞吐量，
高可用，基于哨兵模式的主從部署，
支持Lua腳本，我們可以吧多個Redis指令寫到一個Lua腳本中執行以保證原子性，
支持資料持久化，防止服務宕機時記憶體資料丟失，有利于故障恢復，
支持事務，

Redis 的持久化機制有哪些？

Redis提供兩種持久化方案分別是RDB和AOF

RDB(Redis DataBase)：周期性的將記憶體中的資料制作成快照寫到磁盤中，資料恢復時將快照檔案直接讀到記憶體里，通過fork子行程來完成，不會導致主行程阻塞，
- 優點：適合大規模的資料恢復，對資料完整性和一致性要求不高的情況，
- 缺點：服務down機后會丟失最后一次快照后的所有修改；fork的時候記憶體資料被克隆了一份，需要考慮大致兩倍的膨脹，
AOF：將所有寫指令記錄到aof檔案中，當Redis服務重啟時會將aof檔案中的命令重新執行以恢復資料，AOF寫入時機有三種模式，always(每次資料修改都會寫一次aof)、eversec(每秒執行一次寫入)、no(由Redis自己決定寫入時機，通常會在空閑時寫入)，
- 優點：適用于對資料完整性和一致性要求較高的場景，
- 缺點：AOF通常對磁盤空間占用較大；資料恢復相對于RDB要慢很多，
  
  如上圖所示，其流程如下：
  - 所有的寫命令會先追加到aof緩沖中
  - AOF緩沖區根據對應的策略向磁盤進行寫入
  - 隨著AOF檔案大小到達一定閾值時需要執行rewrite操作達到壓縮的目的
  - 當Redis重啟時，可以通過AOF檔案進行資料恢復
RDB&AOF混合模式：Redis 4.0后支持的一種新的持久化模式，其目的是為了解決單一使用RDB或AOF持久化模式時產生的問題，當開啟混合持久化模式時fork出的子行程先將記憶體資料以RDB的方式寫入AOF檔案，然后再將AOF緩沖中的增量命令以AOF方式寫入到檔案，寫入完成后通知祝行程更新統計資訊，并將舊的AOF檔案替換為新的，在Redis重啟后通過AOF檔案進行資料恢復，先加載RDB內容再加載剩余的AOF內容，

Redis過期鍵的淘汰機制

Redis針對鍵的淘汰策略有：

針對所有key：
- allkeys-lru：當記憶體不足以容納新寫入的資料時，在鍵空間中移除最近最少使用的key，
- allkeys-random：當記憶體不足以容納新寫入的資料時，在鍵空間中隨機移除某個key，
- noeviction：當記憶體不足以容納新寫入的資料時，新寫入命令會報錯，
僅針對有過期時間的key：
- volatile-lru：當記憶體不足以容納新寫入的資料時，在設定了過期時間的鍵空間中移除最近最少使用的key，
- volatile-random：當記憶體不足以容納新寫入的資料時，在設定了過期時間的鍵空間中隨機移除某個key，
- volatile-ttl：當記憶體不足以容納新寫入的資料時，在設定了過期時間的鍵空間中，有更早過期時間的key優先移除，

Redis針對過期鍵的淘汰時機：

實時過期：為每個key設定一個定時器實作實時的自動過期，該策略對記憶體較友好，但會占用大量的CPU資源，
惰性過期：每當訪問一個key時才會判斷是否過期，過期則洗掉并回傳null，該策略對cpu較友好，但會可能會存在大量過期資料占用記憶體資源的情況，
定時過期：每隔一定時間掃描一定數量的過期鍵將其洗掉，該策略是已上兩種策略的一種折中方案，以達到cpu和記憶體使用的平衡，

Redis中使用了惰性+定時兩種過期策略

Redis的執行緒模型

Redis內部實作了一個網路事件處理器，它由多路復用器，fd(套接字的檔案描述符)事件分配器、df事件處理器以及多個套接字組成，服務端用于監聽用的套接字和與服務端建立鏈接后負責與客戶端通信用的套接字會交由多路復用器進行監聽，多路復用器篩選出產生事件的套接字fd事件交給fd事件分配器進行分配，事件分配器根據事件型別將fd事件分配給相應的fd事件處理器執行，fd事件非配和執行都在主執行緒中進行的，因此Redis執行用戶命令采用的是單執行緒模型，

應避免在redis中執行耗時操作如keys，這會導致后面的執行被阻塞，

I/O多路復用

一個I/O操作在OS中的的完整流程是資料請求先從用戶態到內核態，通過OS提供的api呼叫相應的設備去獲取資料，當設備準備好資料后資料被復制到內核態，最后將資料從內核態再復制到用戶態中，

資料從硬體到內核態的程序可以有阻塞或非阻塞兩種方式

阻塞：用戶請求會等待資料準備好后從設備回傳到內核態，整個程序處于一個阻塞的狀態，
非阻塞：非阻塞時不管設備是否準備好資料都回傳一個對應的檔案描述符到內核態中，

資料從內核態到用戶態的處理方式可以分為同步或異步

同步：用戶態處于阻塞狀態，期間不能做其他操作
異步：用戶態在等待資料回傳的同時可以做其他操作

多路復用采用指資料從設備復制到內核態使用非阻塞模式，常見的多路復用模型有：select、poll、epoll，

select/poll：呼叫內核api，將fd集合從用戶態傳入內核態中，由內核執行遍歷篩選出已經準備好資料的fd集合回傳給用戶態，這兩種模型存在以下缺陷：
- 每次都需要將fd集合從用戶態傳入到內核態，產生I/O開銷，
- 每次都需要在內核中遍歷fd集合，當fd集合很大時會占用過多的cpu資源，
- 對傳入fd集合大小有限制，當集合過大時需要分批傳入，
epoll：與select和poll不同，當采用epoll模型是，內核中會維護一個eventpoll結構體，它主要由紅黑樹rb和鏈表rdlist組成，當內核態向網卡請求資料時將產生一個epitem保存在eventpoll結構的rb中并與網卡建立回呼關系，網卡產生事件時通過回呼將rb中對應的epitem加入到rdlist中并標記事件型別，每當用戶態呼叫epoll_wait方法時只需要將rdlist回傳即可，eventpoll結構如下：

struct eventpoll{
  
  // 紅黑樹，用于存放需要監控的fd事件，與網卡建立了回呼關系，當網卡產生事件時（建立鏈接、資料寫入）
  struct rb_root rb;
  // 雙向鏈表，存盤著回傳通過epoll_wait回傳給用戶態滿足條件的事件
  struct list_head rdlist;
}

// rb/rdlist 中存盤的事件結構
struct epitem {
   
  // 檔案描述符
  struct epoll_field fd 
  // 事件型別
  struct epoll_event event
}

epoll相比select和poll，省去了fd集合從用戶態傳入內核態的I/O開銷以及在內核態中遍歷fd集合的操作降低了cpu使用的開銷，

Redis中的事務

Redis的事務本質是Muti、Exec、Watch和DISCARD等一組命令的集合，支持一次執行多個命令，一個事務中所有命令會預先加入到代執行佇列中，在事務的執行程序中按順序執行佇列中的命令，

Redis事務對ACID的支持

A（原子性）：Redis的事務并不支持回滾，其理念是運行時出錯的陳述句單個報錯即可，其他的正常運行，其實作的是自己所認為的原子性，
C（一致性）：一致性指A狀態經過事務變為B狀態后不破壞原有約束，Redis天然支持，
I（隔離性）：Redis處理客戶命令采用的是單執行緒模型，天生具備隔離性，
D（持久性）：當Redis運行在AOF持久化模式下時，Redis事務具備部分持久性，

哨兵模式

Redis可通過哨兵模式大健主從模式實作高可用，哨兵本身也是一個Redis節點，區別是它不做資料存盤，其主要功能如下：

故障轉移：如果master節點掛了會從slave節點中選舉一個作為新的master，
節點監控：監控每隔節點是否正常作業，
告警：節點出現故障時通報管理員，

哨兵用于實作Redis的高可用，本身也是分布式的作為一個哨兵集群去運行，互相協同作業，進行故障轉移時需要過半通過后才能選舉出新的master，這涉及到分布式選舉問題，常見的選舉演算法有（Raft、Paxos、Zab等），Redis采用的是Raft演算法(raft詳見http://thesecretlivesofdata.com/raft/)，

Redis主從復制

Redis的主從復制可分為全量同步和增量同步：

全量復制：當slave節點啟動時會發送一個psync命令給master節點，如果時初次鏈接到master節點會觸發一次全量復制，master會開啟后臺執行緒生成rdb快照發送給slave，slave會先將rdb檔案寫入磁盤后在將其加載進記憶體，接著master會把制作快照后發生的資料變化發送給slave進行同步
增量復制：Redis增量復制是指slave初始化后開始正常作業時主服務器發生的寫操作同步到從服務器的程序，增量復制的程序主要是主服務器每執行一個寫命令就會向從服務器發送相同的寫命令，從服務器接收并執行收到的寫命令，

Redis集群

Redis官方提供了集群部署方案Redis Cluster，它是一種服務端Sharding技術，3.0版本開始正式支持，它采用的是采用slot(槽)的概念，一共分成16384個槽，通過哈希的方式，將資料分片，每個節點均分存盤一定哈希槽(哈希值)區間的資料，每份資料分片可存盤在多個互為主從的多節點上，客戶端請求可發送到任意節點，接收到請求的節點會將查詢請求發送到正確的節點上執行，

采用slot分片的優缺點：

優點
- 無中心架構，支持動態擴容，對業務透明
- 具備Sentinel的監控和自動Failover(故障轉移)能力
- 客戶端不需要連接集群所有節點，連接集群中任何一個可用節點即可

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/257778.html

標籤：其他

上一篇：UML類圖

下一篇：net/rpc中一個函式呼叫的旁白