主頁 >  其他 > Redis——Redis集群理論

Redis——Redis集群理論

2020-10-05 03:08:49 其他

Redis——Redis集群理論

文章目錄

  • Redis——Redis集群理論
    • 一、為什么需要搭建 Redis 集群
      • 1、單點故障
      • 2、容量有限
      • 3、壓力過大
    • 二、AKF服務拆分原則
      • 1、X軸水平擴展
      • 2、Y軸服務拆分
      • 3、Z軸資料磁區
    • 三、基于AKF的Redis集群
      • 1、水平擴展
      • 2、縱向擴展
    • 四、集群的問題——資料一致性
      • 1、強一致性
      • 2、弱一致性
      • 3、最終一致性

一、為什么需要搭建 Redis 集群

在前面的文章中,我們已經學習過 Redis 在單機情況下,Redis 的常見應用:

  • 快取
  • 資料庫

如果是當作快取的時候,當服務掛掉重啟的時候,我們可以重啟一個新的實體,里面什么資料都沒有,這樣的話請求將會穿透快取,直接請求到資料庫,然后慢慢把熱資料加載到快取;也可以在重啟 Redis 服務的時候,就把百分之七八十的熱資料加載到快取,這樣就涉及到單機本地的持久化,因為是快取,允許部分資料丟失,所以使用 RDB 持久化就夠了,根據 dump.rdb 就能夠很快的恢復大量熱資料,對外提供服務

如果是當作資料庫的話,就需要保證資料不可丟失,就需要使用 RDB以快斬訓者 AOF 以日志方式進行持久化,以增量日志的方式保證資料不丟失,4.0 以后 AOF 以混合模式進行存盤,前半部分是 RDB,后面以追加寫的方式保存日志

那么為什么生產中需要搭建集群?一定是單機情況下,有些問題是無法解決的,那么單機、單節點、單實體會有什么問題?單機的 Redis 服務通常會有以下風險:

  • 單點故障
  • 容量有限
  • 壓力過大

1、單點故障

由于只有一個 Redis 行程對外提供服務,一旦服務器出現斷電、宕機、卡死等等的意外問題,系統中就無法使用 Redis 快取服務,這樣大量請求就會大量到達資料庫,而資料庫存盤于磁盤,回應速度極慢,而且容易造成資料庫崩潰

簡單來說就是容易造成服務不可用,這在上線的生產環境中是不允許的

2、容量有限

如果一個特別大的系統,如淘寶、12306,資料特別多,資料量特別大,一個 Redis 服務 hold 住嗎?存的下嗎?

所以單機 Redis 服務的另一個問題就是容量有限,稍微大一點的系統,一個 Redis 服務無法支撐起來

3、壓力過大

由于只有一個 Redis 單機服務,則這個 Redis 行程將要處理所有的 client 端請求,以及所有的查詢、修改操作,無論是大量的連接帶來的 socket 壓力,還是 CPU 的密集型操作壓力,都會造成 Redis 服務行程壓力過大

那么怎么解決單機的問題呢?我們可以通過搭建多臺 Redis 服務,共同對外提供服務,減輕單臺壓力

二、AKF服務拆分原則

在《架構即未來》這本書,里面提到的AKF擴展立方體,是業界公認的微服務拆分原則的最佳實踐,其核心思想就是:通過加機器可以解決容量和可用性問題(如果一臺不行就兩臺)

用個段子描述就是:在重慶沒有什么事是一頓火鍋解決不了的,如果有,那就兩頓

既然是立方體,那么這是一個三維的模型,分別包含X,Y,Z軸,三個不同維度相輔相成,示意圖如下:

在這里插入圖片描述

1、X軸水平擴展

所謂 X 軸代表把同樣的作業或資料鏡像分配給多個物體,換句話說就是復制服務然后負載均衡,使單臺服務壓力降低,而且單臺服務掛掉之后,其他的服務能夠頂上來,提高容錯性

豪橫一點的說法就是:“我有錢,我就加機器來解決問題”

例子:

我有個網站,一開始部署在服務器A上對外服務,隨著訪問人數增加,一臺服務其的性能無法支持,于是我又在服務器上B上同樣部署了網站,然后在前面部署了Apache或者Nginx來分流訪問,這就是最基本的X軸擴展

但是基于 X 軸擴展,每臺服務器都是存盤全量資料,在資料量很大的系統中,每臺機器容量有限,壓力很大

2、Y軸服務拆分

針對X軸擴展產生的問題,我們需要將大型服務進行拆解,把分割的作業指責和資料分配個多個物體,這也就是Y軸擴展,也是微服務理論誕生的基礎,

每個服務實作一組相關的功能,如訂單管理,客戶管理等,在工程上常見的方案是服務化架構(SOA),比如對于一個電子商務平臺,我們可以做如下拆分:

在這里插入圖片描述

這樣進行拆分的話,當其中一個服務掛掉之后,不會影響其他服務正常對外提供服務

3、Z軸資料磁區

Z 軸擴展通常是指基于請求和用戶獨特的需求,進行系統劃分,并使得劃分出來的子系統相互隔離,但又是完整的

Z軸代表按照客戶、客戶的需要、位置或者價值分割或分配作業指責,一般在超大型系統中,架構設計就會面臨Z軸擴展的需求,

三、基于AKF的Redis集群

Redis 集群模型:

在這里插入圖片描述

1、水平擴展

既然一臺 Redis 服務行程對外提供服務容易造成單點故障,那就使用多臺服務器,每臺服務器存放的資料相互之間實時同步,保證每臺機器里面的都是全量資料,這樣,當其中一個服務行程實體掛掉之后,其余行程實體能夠繼續對外提供服務

而且既然起了多臺服務,就不要浪費性能,可以讓多個行程實體組成主從關系,實作讀寫分離,減輕單臺主機壓力

2、縱向擴展

使用多臺主機雖然能夠避免單點故障,而且能夠組成讀寫分離,減輕單臺服務器接收全部請求的壓力,但是每臺服務器都是保存的全量資料,當系統膨脹,資料量變大之后容量仍然是一個問題

此時我們可以把資料按照不同的功能進行劃分,不同業務的資料保存在不同的服務行程,對外只提供此業務功能,這樣每臺服務就不需要保存全量資料,解決單臺服務容量有限的問題,而且根據功能可以讓請求打到不同的服務器,減輕單臺服務器接收過多請求的壓力

四、集群的問題——資料一致性

雖然水平擴展能夠解決單點故障的問題,但是每臺機器中都需要進行資料同步,當主服務器接收到修改資料請求時,各個從屬服務器也需要進行資料修改,保證資料一致性

保證資料一致性,可以分為以下情況

1、強一致性

強一致性:使用同步阻塞方式,所有節點阻塞直到資料全部一致

強一致性一直是企業所追求的情況,但是成本極其高昂,而且容易造成服務不可用

在這里插入圖片描述

總結:強一致性容易破壞可用性,與我們使用集群解決單點故障的初衷背道而馳,不可取

2、弱一致性

弱一致性:使用異步方式,主服務器不需要等待從服務器執行結果,就可以給客戶端回應成功

弱一致性會造成資料丟失,資料不一致會產生大問題

在這里插入圖片描述

3、最終一致性

最終一致性:在主從之間通過一個可靠的訊息組件,實作資料最終一定會一致

最終一致性可以有多種實作方式,如 kafka 等訊息佇列,但是在資料實作最終一致性之前,有可能請求到的資料并非最新的資料

在這里插入圖片描述

這一種看起來還不錯,但是 Redis 也并沒有采用這種方式

Redis 最大的特點就是快,玩命的給客戶提供最快的回應速度,所以一定要盡量的減少技術的整合


本篇文章只是通過講解 Redis 單機會出現什么問題,來引出為什么需要搭建 Redis 集群,Redis 集群內容很多,如果在本篇文章中講解就會顯得主次不分,內容冗長,所以我們在后面的文章中將會通過以下兩個方面來詳細介紹 Redis 集群:

  • X軸水平擴展:對 master 做HA高可用,解決單點故障問題
  • Y軸縱向擴展:通過集群對資料進行分治,解決單臺機器容量有限問題

關聯文章:

Redis入門–萬字長文詳解epoll

Redis——詳解五種資料結構

Redis——Redis的進階使用(管道/發布訂閱/事務/布隆過濾器)

Redis——Redis用作快取(記憶體回收/穿透/擊穿/雪崩)

Redis——Redis用作資料庫(持久化/RDB/AOF)

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/156236.html

標籤:其他

上一篇:關于OPNET14.5自帶的HLA Tutorial

下一篇:s1ap信令如何決議?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more