?前面說到了redis在單機的模式下是可以資料持久化的，但是不可以解決單點失敗的問題，當單臺redis服務器出現問題時，就可能會造成資料的丟失；想要解決這個問題的話我們可以使用Redis的主從模式這也是Redis集群最簡單的實作方式，這篇文章我就來簡單部署一個Redis主從架構，我準備了3臺ubuntu1804的主機，IP地址分別為10.0.0.{101,102,103},主機名分別為master，slave1，slave2，
1、腳本安裝redis
#！/bin/bash #REDIS_VERSION=redis-7.0.5 #REDIS_VERSION=redis-7.0.3 #REDIS_VERSION=redis-6.2.6 REDIS_VERSION=redis-5.0.14 #REDIS_VERSION=redis-4.0.14 REDIS_URL=http://download.redis.io/releases PASSWORD=123456 INSTALL_DIR=/apps/redis CPUS=`lscpu |awk '/^CPU\(s\)/{print $2}'` . /etc/os-release color () { RES_COL=60 MOVE_TO_COL="echo -en \\033[${RES_COL}G" SETCOLOR_SUCCESS="echo -en \\033[1;32m" SETCOLOR_FAILURE="echo -en \\033[1;31m" SETCOLOR_WARNING="echo -en \\033[1;33m" SETCOLOR_NORMAL="echo -en \E[0m" echo -n "$1" && $MOVE_TO_COL echo -n "[" if [ $2 = "success" -o $2 = "0" ] ;then ${SETCOLOR_SUCCESS} echo -n $" OK " elif [ $2 = "failure" -o $2 = "1" ] ;then ${SETCOLOR_FAILURE} echo -n $"FAILED" else ${SETCOLOR_WARNING} echo -n $"WARNING" fi ${SETCOLOR_NORMAL} echo -n "]" echo } prepare(){ if [ $ID = "centos" -o $ID = "rocky" ];then yum -y install gcc make jemalloc-devel systemd-devel else apt update apt -y install gcc make libjemalloc-dev libsystemd-dev fi if [ $? -eq 0 ];then color "安裝軟體包成功" 0 else color "安裝軟體包失敗，請檢查網路配置" 1 exit fi } install() { if [ ! -f ${REDIS_VERSION}.tar.gz ];then wget ${REDIS_URL}/${REDIS_VERSION}.tar.gz || { color "Redis 原始碼下載失敗" 1 ; exit; } fi tar xf ${REDIS_VERSION}.tar.gz -C /usr/local/src cd /usr/local/src/${REDIS_VERSION} make -j $CUPS USE_SYSTEMD=yes PREFIX=${INSTALL_DIR} install && color "Redis 編譯安裝完成" 0 || { color "Redis 編譯安裝失敗" 1 ;exit ; } ln -s ${INSTALL_DIR}/bin/redis-* /usr/bin/ mkdir -p ${INSTALL_DIR}/{etc,log,data,run} cp redis.conf ${INSTALL_DIR}/etc/ sed -i -e 's/bind 127.0.0.1/bind 0.0.0.0/' -e "/# requirepass/a requirepass $PASSWORD" -e "/^dir .*/c dir ${INSTALL_DIR}/data/" -e "/logfile .*/c logfile ${INSTALL_DIR}/log/redis-6379.log" -e "/^pidfile .*/c pidfile ${INSTALL_DIR}/run/redis_6379.pid" ${INSTALL_DIR}/etc/redis.conf if id redis &> /dev/null ;then color "Redis 用戶已存在" 1 else useradd -r -s /sbin/nologin redis color "Redis 用戶創建成功" 0 fi chown -R redis.redis ${INSTALL_DIR} cat >> /etc/sysctl.conf <<EOF net.core.somaxconn = 1024 vm.overcommit_memory = 1 EOF sysctl -p if [ $ID = "centos" -o $ID = "rocky" ];then echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local chmod +x /etc/rc.d/rc.local /etc/rc.d/rc.local else echo -e '#!/bin/bash\necho never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local chmod +x /etc/rc.local /etc/rc.local fi cat > /lib/systemd/system/redis.service <<EOF [Unit] Description=Redis persistent key-value database After=network.target [Service] ExecStart=${INSTALL_DIR}/bin/redis-server ${INSTALL_DIR}/etc/redis.conf --supervised systemd ExecStop=/bin/kill -s QUIT \$MAINPID Type=notify User=redis Group=redis RuntimeDirectory=redis RuntimeDirectoryMode=0755 LimitNOFILE=1000000 [Install] WantedBy=multi-user.target EOF systemctl daemon-reload systemctl enable --now redis &> /dev/null if [ $? -eq 0 ];then color "Redis 服務啟動成功,Redis資訊如下:" 0 else color "Redis 啟動失敗" 1 exit fi sleep 2 redis-cli -a $PASSWORD INFO Server 2> /dev/null } prepare install
#查看redis是否啟用
[root@slave2 ~]#systemctl status redis.service
● redis.service - Redis persistent key-value database
Loaded: loaded (/lib/systemd/system/redis.service; enabled; vendor preset: enabled)
Active: active (running) since Wed 2022-11-02 15:14:08 CST; 10min ago
Main PID: 12529 (redis-server)
Tasks: 4 (limit: 2236)
Memory: 1.7M
CGroup: /system.slice/redis.service
└─12529 /apps/redis/bin/redis-server 0.0.0.0:6379
11月 02 15:14:08 ubuntu2004 systemd[1]: Starting Redis persistent key-value database...
11月 02 15:14:08 ubuntu2004 systemd[1]: Started Redis persistent key-value database.
2、Redis主從復制
Redis的主從模式是可以實作Redis的資料跨主機備份，在配置主從的時候，從節點是需要開啟資料持久化并設定和主節點同樣的連接密碼，
2.1、默認redis狀態
剛安裝好后的redis三臺機器都是master狀態，可以進到客戶端查詢一下
2.2、實作Redis主從復制
實作Redis的主從復制是有兩種方式的，一種你可以通過命令列來配置，這樣配置的話是臨時生效，命令列配置的話重啟Redis服務就沒有用了，但是同步過來的資料還是會保留的；另一種就是修改redis的組態檔來使其生效，這樣的話即使重啟redis服務主從的關系還在的，
2.2.1客戶端命令列配置
準備點資料
[root@master ~]#redis-cli -a 123456 Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 127.0.0.1:6379> mset k1 v1 k2 v1 k3 v3 OK 127.0.0.1:6379> dbsize (integer) 3
使用命令列啟用主從
127.0.0.1:6379> replicaof 10.0.0.101 6379 OK 127.0.0.1:6379> INFO replication # Replication role:slave #角色已經變成了slave，但是狀態還是down，這時需要設定下主節點的連接密碼才能變成up master_host:10.0.0.101 master_port:6379 master_link_status:down master_last_io_seconds_ago:-1 master_sync_in_progress:0 slave_repl_offset:1 master_link_down_since_seconds:1667376380 slave_priority:100 slave_read_only:1 connected_slaves:0
slave2節點同樣操作
在master節點查看主從狀態
查看連接狀態
復制測驗，發現之前的資料已經同步過來了
取消主從同步
我們是可以通過從節點執行replicaof no one命令即可取消主從復制，修改完后角色會變成master，并且之前同步的資料是不會丟的，
2.2.2修改組態檔
我們在前面使用了命令列實作了主從復制，命令列配置是有缺陷的，當從節點的redis服務重啟后就失效了；為了解決這個缺陷我們可以將命令列配置的內容加到組態檔中，在重啟一下redis服務讓其讀取組態檔，
[root@slave2 ~]#echo -e "replicaof 10.0.0.101 6379\nmasterauth 123456" >> /apps/redis/etc/redis.conf [root@slave2 ~]#tail -2 /apps/redis/etc/redis.conf replicaof 10.0.0.101 6379 masterauth 123456
[root@slave2 ~]#systemctl restart redis.service
登錄上去查看主從關系
3、主從復制故障與恢復
3.1、從節點故障與恢復
當從節點出現故障時，只需將Redis客戶端指向其他的從節點就可以了，并不會對整體的架構的讀操作進行太大的影響，即使所有的從節點出現故障，也可以直接訪問主節點進行讀的操作；不過一般從節點出現故障后，除了一些特殊情況一般都會盡快的修復好，從而減輕其他節點的作業負載，
3.2、主節點故障與恢復
當我們的主節點故障時，我們可以將一個從節點提升為新的主節點，在將另一個從節點指向到新的主節點，當原來的主節點修復好了后，把Redis服務起來后會發現恢復到了單機的狀態，并且只有之前的資料，程序和之前一樣我就不做演示了，
如果現在想要將原的主節點變成現有的主從架構的從節點，這樣的話就可以將新的主節點（slave1）的資料同步過來了；但是想要保持之前的原節點不變的話，就需要將現在的主從架構中的節點都指向原節點，并且剛剛新增的key也就會丟失；這里我們可以保持原先的master節點為主節點為例，這里可以把slave2設定成原master節點的從節點，我們也是可以直接把現在新主節點（slave1）設定成原master節點的從節點，這樣的話就形成了級聯復制，這樣的話slave可以不用修改配置，這樣的話slave2是從slave1來同步資料，而slave1從master節點同步資料，
4、主從復制的優化
4.1、主從復制程序
??Redis主從復制可以分為全量同步和增量同步，
4.1.1、全量復制的程序
第一次都是需要主從同步是全量同步的，主從同步可以讓從節點到主節點進行同步資料，而且從節點也可以有從節點，也就是前面演示的級聯復制的架構；
??Redis的主從同步是非阻塞的，master節點收到從服務器的psync(在2.8版本之前是SYNC)命令,會fork一個子行程在后臺執行bgsave命令，并將新寫入的資料先寫入到一個緩沖區中，bgsave執行完成之后,再將生成的RDB檔案發送給slave節點，然后master節點再將緩沖區的內容以redis協議格式再全部發送給slave節點，slave節點先洗掉舊資料,slave節點將收到后的RDB檔案載入自己的記憶體，再加載所有收到緩沖區的內容，從而這樣一次完整的資料同步，
??Redis全量復制一般發生在Slave首次初始化階段，這時Slave需要將Master上的所有資料都復制一份，
4.1.2、增量復制的程序
在全量同步之后再次需要同步時,從服務器只要發送當前的offset位置(等同于MySQL的binlog的位置)給主服務器，然后主服務器根據相應的位置將之后的資料(包括寫在緩沖區的積壓資料)發送給從服務器,再次將其保存到從節點記憶體即可，
4.1.3、主從同步完整程序
- 從服務器連接主服務器，發送PSYNC命令，
- 當主服務器接收到PSYNC命令后，開始執行BGSAVE命令生成RDB快照檔案并使用緩沖區記錄此后執行的所有寫命令，
- 當主服務器BGSAVE執行完后，向所有從服務器發送RDB快照檔案，并在發送期間繼續記錄被執行的寫命令，
- 從服務器收到快照檔案后丟棄所有舊資料，載入收到的快照至記憶體，
- 主服務器快照發送完畢后,開始向從服務器發送緩沖區中的寫命令，
- 從服務器完成對快照的載入，開始接收命令請求，并執行來自主服務器緩沖區的寫命令，
- 后期同步會先發送自己slave_repl_offset位置，只同步新增加的資料，不再全量同步，
4.2、主從復制的主要事項
4.2.1、避免全量復制
- 第一次的全量復制是沒法避免的，后續的全量復制是可以利用小主節點（記憶體小），盡量在業務低峰時進行全量復制；
- 在主節點重啟后會發現運行的ID發生了變化，可能會觸發全量復制，可以利用故障轉移，例如哨兵或者集群的方式，而從節點重啟的話是不會導致全量復制的；
- 當復制積壓緩沖區不足時，主節點生成的新資料大與緩沖區的大小，從節點恢復和主節點連接后，這樣會導致全量復制，這個是可以修改repl-backlog-size的值來解決，將其值調大，
4.2.2、避免復制的風暴
單主節點復制的風暴：當主節點重啟后，多個從節點會同時從主節點復制資料，這樣的話是會帶來復制風暴，解決方式可以更換復制的架構，比如可以使用級聯復制的架構，
單機器多實體的復制風暴：當服務器出現宕機時，后面有修復了，這樣的話就會進行大量的全量復制，并引發復制風暴，解決的方法是主節點分散多機器，
4.3、主從復制優化配置
repl-diskless-sync no # 是否使用無盤同步RDB檔案，默認為no，no為不使用無盤，需要將RDB檔案保存到磁盤后再發送給slave，yes為支持無盤，支持無盤就是RDB檔案不需要保存至本地磁盤，而且直接通過socket檔案發送給slave repl-diskless-sync-delay 5 #diskless時復制的服務器等待的延遲時間 repl-ping-slave-period 10 #slave端向server端發送ping的時間間隔，默認為10秒 repl-timeout 60 #設定主從ping連接超時時間,超過此值無法連接,master_link_status顯示為down,并記錄錯誤日志 repl-disable-tcp-nodelay no #是否啟用TCP_NODELAY，如設定成yes，則redis會合并小的TCP包從而節省帶寬， 但會增加同步延遲（40ms），造成master與slave資料不一致，假如設定成no，則redis master會立即發送同步資料，沒有延遲，yes關注網路性能，no關注redis服務中的資料一致性 repl-backlog-size 1mb #master的寫入資料緩沖區，用于記錄自上一次同步后到下一次同步程序中間的寫入命令，計算公式：repl-backlog-size = 允許從節點最大中斷時長 * 主實體offset每秒寫入量，比如master每秒最大寫入64mb，最大允許60秒，那么就要設定為64mb*60秒=3840MB(3.8G),建議此值是設定的足夠大 repl-backlog-ttl 3600 #如果一段時間后沒有slave連接到master，則backlog size的記憶體將會被釋放，如果值為0則 表示永遠不釋放這部份記憶體， slave-priority 100 #slave端的優先級設定，值是一個整數，數字越小表示優先級越高，當master故障時將會按照優先級來選擇slave端進行恢復，如果值設定為0，則表示該slave永遠不會被選擇， min-replicas-to-write 1 #設定一個master的可用slave不能少于多少個，否則master無法執行寫 min-slaves-max-lag 20 #設定至少有上面數量的slave延遲時間都大于多少秒時，master不接收寫操作(拒絕寫入)
5、常見主從復制故障
5.1、master密碼不對??
即主節點在Redis組態檔中設定的requirepass部分，從節點在執行主從同步命令時或者修改組態檔時未添加正確，則會導致無法建立主從同步關系，
5.2、redis版本不一致??
不同的redis大版本之間是會存在兼容性的問題的，例如大版本3和大版本4之間，大版本4和大版本5之間，因此各master節點和slave節點之間必須保持版本的一致，
5.3、無法遠程連接??
當在開啟了安全模式的情況下，沒有設定bind地址或者密碼的話，外部是訪問不了的，也就是沒辦法遠程連接，
5.4、配置不一致
- 當主從節點的maxmemory不一致，主節點的記憶體大雨從節點的記憶體時，這樣就可能會出現主從復制丟失資料的情況，
- 主從節點的rename-command命令不一致，例如在主節點定義了flushall,flushdb,而在從節點上沒有定義，這樣的話在主節點執行flushall或者flushdb的話，在從節點的資料是沒有同步的，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/526044.html
標籤：NoSQL
上一篇：redis的持久化存盤