主頁 > 資料庫 > 詳解Redis三大集群模式,輕松實作高可用!

詳解Redis三大集群模式,輕松實作高可用!

2023-04-24 08:57:40 資料庫

image

1. Redis集群簡介

1.1 什么是Redis集群

Redis集群是一種通過將多個Redis節點連接在一起以實作高可用性、資料分片和負載均衡的技術,它允許Redis在不同節點上同時提供服務,提高整體性能和可靠性,根據搭建的方式和集群的特性,Redis集群主要有三種模式:主從復制模式(Master-Slave)、哨兵模式(Sentinel)和Cluster模式,

1.2 Redis集群的作用和優勢

  1. 高可用性:Redis集群可以在某個節點發生故障時,自動進行故障轉移,保證服務的持續可用,
  2. 負載均衡:Redis集群可以將客戶端請求分發到不同的節點上,有效地分攤節點的壓力,提高系統的整體性能,
  3. 容災恢復:通過主從復制或哨兵模式,Redis集群可以在主節點出現故障時,快速切換到從節點,實作業務的無縫切換,
  4. 資料分片:在Cluster模式下,Redis集群可以將資料分散在不同的節點上,從而突破單節點記憶體限制,實作更大規模的資料存盤,
  5. 易于擴展:Redis集群可以根據業務需求和系統負載,動態地添加或移除節點,實作水平擴展,

通過了解Redis集群的概念和優勢,接下來將詳細介紹三大集群模式的原理、配置、優缺點以及應用場景,

2. 主從復制模式(Master-Slave)

2.1 主從復制原理

主從復制是Redis的一種基本集群模式,它通過將一個Redis節點(主節點)的資料復制到一個或多個其他Redis節點(從節點)來實作資料的冗余和備份,

主節點負責處理客戶端的寫操作,同時從節點會實時同步主節點的資料,客戶端可以從從節點讀取資料,實作讀寫分離,提高系統性能,

image

2.2 主從復制配置和實作

  1. 配置主節點:在主節點的redis.conf組態檔中,無需進行特殊配置,主節點默認監聽所有客戶端請求,

    # 主節點默認埠號6379
    port 6379
    
  2. 配置從節點:在從節點的redis.conf組態檔中,添加如下配置,指定主節點的地址和埠:

    # 從節點設定埠號6380
    port 6380
    
    # replicaof 主節點IP 主節點埠
    replicaof 127.0.0.1 6379
    

    或者,通過Redis命令列在從節點上執行如下命令:

    redis> replicaof 127.0.0.1 6379
    
  3. 驗證主從復制:在主節點上執行寫操作,然后在從節點上進行讀操作,檢查資料是否一致,

2.3 主從復制的優缺點

優點

  1. 配置簡單,易于實作,
  2. 實作資料冗余,提高資料可靠性,
  3. 讀寫分離,提高系統性能,

缺點

  1. 主節點故障時,需要手動切換到從節點,故障恢復時間較長,
  2. 主節點承擔所有寫操作,可能成為性能瓶頸,
  3. 無法實作資料分片,受單節點記憶體限制,

2.4 主從復制場景應用

主從復制模式適用于以下場景:

  1. 資料備份和容災恢復:通過從節點備份主節點的資料,實作資料冗余,
  2. 讀寫分離:將讀操作分發到從節點,減輕主節點壓力,提高系統性能,
  3. 在線升級和擴展:在不影響主節點的情況下,通過增加從節點來擴展系統的讀取能力,

總結:主從復制模式適合資料備份、讀寫分離和在線升級等場景,但在主節點故障時需要手動切換,不能自動實作故障轉移,如果對高可用性要求較高,可以考慮使用哨兵模式或Cluster模式,

3. 哨兵模式Sentinel)

3.1 哨兵模式原理

哨兵模式是在主從復制基礎上加入了哨兵節點,實作了自動故障轉移,哨兵節點是一種特殊的Redis節點,它會監控主節點和從節點的運行狀態,當主節點發生故障時,哨兵節點會自動從從節點中選舉出一個新的主節點,并通知其他從節點和客戶端,實作故障轉移,

image

3.2 哨兵模式配置和實作

  1. 配置主從復制:首先按照主從復制模式的配置方法,搭建一個主從復制集群(上面已經講過),

  2. 配置哨兵節點:在哨兵節點上創建一個新的哨兵組態檔(如:sentinel.conf),并添加如下配置:

    # sentinel節點埠號
    port 26379
    
    # sentinel monitor 被監控主節點名稱 主節點IP 主節點埠 quorum
    sentinel monitor mymaster 127.0.0.1 6379 2
    
    # sentinel down-after-milliseconds 被監控主節點名稱 毫秒數
    sentinel down-after-milliseconds mymaster 60000
    
    # sentinel failover-timeout 被監控主節點名稱 毫秒數
    sentinel failover-timeout mymaster 180000
    

    其中,quorum是指觸發故障轉移所需的最小哨兵節點數,down-after-milliseconds表示主節點被判斷為失效的時間,failover-timeout是故障轉移超時時間,

    為什么只配置了sentinel監控主節點,沒有配置監控從節點?
    因為通過主節點,就可以找到從節點,

  3. 啟動哨兵節點:使用如下命令啟動哨兵節點:

    redis> redis-sentinel /path/to/sentinel.conf
    
  4. 驗證哨兵模式:手動停止主節點,觀察哨兵節點是否自動選舉出新的主節點,并通知其他從節點和客戶端,

3.3 哨兵模式的優缺點

優點

  1. 自動故障轉移,提高系統的高可用性,
  2. 具有主從復制模式的所有優點,如資料冗余和讀寫分離,

缺點

  1. 配置和管理相對復雜,
  2. 依然無法實作資料分片,受單節點記憶體限制,

3.4 哨兵模式場景應用

哨兵模式適用于以下場景:

  1. 高可用性要求較高的場景:通過自動故障轉移,確保服務的持續可用,
  2. 資料備份和容災恢復:在主從復制的基礎上,提供自動故障轉移功能,

總結:哨兵模式在主從復制模式的基礎上實作了自動故障轉移,提高了系統的高可用性,然而,它仍然無法實作資料分片,如果需要實作資料分片和負載均衡,可以考慮使用Cluster模式,

4. Cluster模式

4.1 Cluster模式原理

Cluster模式是Redis的一種高級集群模式,它通過資料分片和分布式存盤實作了負載均衡和高可用性,在Cluster模式下,Redis將所有的鍵值對資料分散在多個節點上,每個節點負責一部分資料,稱為槽位,通過對資料的分片,Cluster模式可以突破單節點的記憶體限制,實作更大規模的資料存盤,

image

4.2 資料分片與槽位

Redis Cluster將資料分為16384個槽位,每個節點負責管理一部分槽位,當客戶端向Redis Cluster發送請求時,Cluster會根據鍵的哈希值將請求路由到相應的節點,具體來說,Redis Cluster使用CRC16演算法計算鍵的哈希值,然后對16384取模,得到槽位編號,

4.3 Cluster模式配置和實作

  1. 配置Redis節點:為每個節點創建一個redis.conf組態檔,并添加如下配置:

    # cluster節點埠號
    port 7001
    
    # 開啟集群模式
    cluster-enabled yes
    
    # 節點超時時間
    cluster-node-timeout 15000
    

像這樣的配置,一共需要創建6個,我們做一個三主三從的集群,

  1. 啟動Redis節點:使用如下命令啟動6個節點:

    redis> redis-server redis_7001.conf
    
  2. 創建Redis Cluster:使用Redis命令列工具執行如下命令創建Cluster:

    redis> redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1
    

    cluster-replicas 表示從節點的數量,1代表每個主節點都有一個從節點,

  3. 驗證Cluster模式:向Cluster發送請求,觀察請求是否正確路由到相應的節點,

4.4 Cluster模式的優缺點

優點

  1. 資料分片,實作大規模資料存盤,
  2. 負載均衡,提高系統性能,
  3. 自動故障轉移,提高高可用性,

缺點

  1. 配置和管理較復雜,
  2. 一些復雜的多鍵操作可能受到限制,

4.5 Cluster模式場景應用

Cluster模式適用于以下場景:

  1. 大規模資料存盤:通過資料分片,突破單節點記憶體限制,
  2. 高性能要求場景:通過負載均衡,提高系統性能,
  3. 高可用性要求場景:通過自動故障轉移,確保服務的持續可用,

總結:Cluster模式在提供高可用性的同時,實作了資料分片和負載均衡,適用于大規模資料存盤和高性能要求的場景,然而,它的配置和管理相對復雜,且某些復雜的多鍵操作可能受到限制,

5. 總結

本文詳細介紹了Redis的三大集群模式:主從復制、哨兵模式和Cluster模式,每種模式都有其特點和應用場景,具體如下:

  1. 主從復制模式:適用于資料備份和讀寫分離場景,配置簡單,但在主節點故障時需要手動切換,
  2. 哨兵模式:在主從復制的基礎上實作自動故障轉移,提高高可用性,適用于高可用性要求較高的場景,
  3. Cluster模式:通過資料分片和負載均衡實作大規模資料存盤和高性能,適用于大規模資料存盤和高性能要求場景,

在實際應用中,可以根據系統的需求和特點選擇合適的Redis集群模式,以實作高可用性、高性能和大規模資料存盤,

我是「一燈架構」,如果本文對你有幫助,歡迎各位小伙伴點贊、評論和關注,感謝各位老鐵,我們下期見

image

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/550991.html

標籤:NoSQL

上一篇:【Redis】Cluster集群

下一篇:返回列表

標籤雲
其他(157958) Python(38094) JavaScript(25389) Java(17988) C(15215) 區塊鏈(8259) C#(7972) AI(7469) 爪哇(7425) MySQL(7140) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4558) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2430) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1959) Web開發(1951) HtmlCss(1923) python-3.x(1918) 弹簧靴(1913) C++(1910) xml(1889) PostgreSQL(1872) .NETCore(1854) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • 詳解Redis三大集群模式,輕松實作高可用!

    Redis集群是一種通過將多個Redis節點連接在一起以實作高可用性、資料分片和負載均衡的技術。它允許Redis在不同節點上同時提供服務,提高整體性能和可靠性。根據搭建的方式和集群的特性,Redis集群主要有三種模式:主從復制模式(Master-Slave)、哨兵模式(Sentinel)和Clust... ......

    uj5u.com 2023-04-24 08:57:40 more
  • 【Redis】Cluster集群

    一、Redis Cluster 作業原理 在引入哨兵機制后,解決了Redis主從架構Master故障時的主從切換問題,保證了Redis服務可用性。但依舊無法解決單機節點出現的寫入性能瓶頸(網卡速率、單機記憶體容量、并發數量) 1、早期為解決單機性能瓶頸問題采用的解決方案: 1、客戶端分片:由客戶端程式 ......

    uj5u.com 2023-04-24 08:57:23 more
  • 讀《mysql是怎樣運行的》有感

    最近讀了一本書《mysql是怎樣運行的》,讀完后在大體上對mysql的運行有一定的了解。在以前,我對mysql有以下的為什么: InnoDB中的表空間、段、區和頁是什么? redo log為什么就能實作事務的持久性? 到底什么是意向鎖?意向鎖有什么用? mysql中的外連接、內連接到底是什么? 事務 ......

    uj5u.com 2023-04-24 08:57:01 more
  • mysql+proxysql+replication-manager的主從半同步復制+高可用+讀

    環境: AlmaLinux release 9.1 MySQL Community Server Ver 8.0.33 Replication Manager v2.2.40 for MariaDB 10.x and MySQL 5.7 Series ProxySQL version 2.5.1-9 ......

    uj5u.com 2023-04-24 08:51:39 more
  • MySQL 移動資料目錄后啟動失敗

    GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯系小編并注明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: 王權富貴 文章來源:GreatSQL社區投稿 背景概述 由于安裝資料庫時將MySQL的資料目錄放在了根目錄下,現在存盤空間不足,想通過mv將資料 ......

    uj5u.com 2023-04-24 08:45:47 more
  • kafka設計理念決議

    一.引言 kafka是廣泛使用的流處理組件,我們知道怎么使用它,也知道它的實作原理。但是更重要的部分是它的設計理念,即kafka設計者當時是如何考量各種方案的,了解這些,對提升我們的設計能力非常有幫助。 二.動機 我們將 Kafka 設計為一個統一平臺,來處理大型公司可能擁有的所有實時資料流。 為此 ......

    uj5u.com 2023-04-24 08:45:28 more
  • 袋鼠云春季生長大會圓滿落幕,帶來數實融合下的新產品、新方案、新

    4月20日,以“數實融合,韌性生長”為主題的袋鼠云春季生長大會圓滿落幕。 在春季生長大會中,袋鼠云帶來了數實融合趨勢下的最新行業沉淀、最佳實踐經驗和行業前瞻性的產品發布。從大資料基礎軟體“數堆疊”、到低代碼數字孿生世界“易知微”,再到可觀測運維專家“云掣”,為廣大用戶帶來了一場場精彩內容,共話數字未來 ......

    uj5u.com 2023-04-24 08:44:49 more
  • 主從redis部署(docker)

    首先,我準備了兩臺linux,一臺準備當作master,ip是192.168.241.128,另一臺是當作slave,ip是192.168.241.129。 1. 安裝redis docker pull redis 2. 下載對應版本的redis.conf 可以從github上下載。新建配置環境目錄 ......

    uj5u.com 2023-04-23 07:54:24 more
  • 主從redis部署(docker)

    首先,我準備了兩臺linux,一臺準備當作master,ip是192.168.241.128,另一臺是當作slave,ip是192.168.241.129。 1. 安裝redis docker pull redis 2. 下載對應版本的redis.conf 可以從github上下載。新建配置環境目錄 ......

    uj5u.com 2023-04-23 07:53:35 more
  • 「資料庫、資料庫連接池、資料源」這些概念你真的理解了嗎?

    我學習的程序中,對于連接池和資料源分得不是很清楚,而且我發現有的人將資料庫等同于資料源,或者將資料源等同于連接池,實際上這些說法并不準確。 ......

    uj5u.com 2023-04-22 08:05:49 more