關于Sersync

什么是實時同步

什么是實時同步
實時同步是一種只要當前目錄觸發事件，就馬上同步到遠程的目錄

為什么使用實時同步

保證資料的連續性（定時任務是以分鐘為單位的）
減少人力維護成本

實時同步工具

inotify+RSYNC（x）
sersync+RSYNC（√）
lsyncd
Inotify是一個通知介面，用來監控檔案系統的各種變化，如果檔案存取，洗掉，移動，可以非常方便地實作檔案異動告警，增量備份，并針對目錄或檔案的變化及時作出回應，rsync+inotify可以實觸發式實時同步增量備份
sersync是國人基于rsync+inotify-tools開發的工具，不僅保留了優點同時還強化了實時監控，檔案過濾，簡化配置等功能，幫助用戶提高運行效率，節省時間和網路資源，

inotify與 sersync對比

Inotify實時并發：

　　結論：經過測驗，每秒200檔案并發，資料同步幾乎無延遲（小于1秒）

inotify 優點：

1）監控檔案系統事件變化，通過同步工具實作實時資料同步，

inotify 缺點：

1）并發如果大于200個檔案（10-100k），同步就會有延遲
2）監控到事件后，呼叫rsync同步是單行程的，而sersync為多行程同步，

serysync實時同步

serysync優點

serysync功能多：（inotify+rsync命令）
1）支持通過組態檔管理
2）真正的守護行程socket
3）可以對失敗檔案定時重傳（定時任務功能）
4）第三方的HTTP介面（例如：更新cdn快取）
5）默認多行程rsync同步

高并發資料實時同步方案小結

1）inotify（sersync）+ rsync，是檔案級別的，
2）drbd檔案系統級別，檔案系統級別，基于block塊同步，缺點：備節點資料不可用
3）第三方軟體的同步功能：mysql同步（主從復制），oracle，mongodb
4）程式雙寫，直接寫兩臺服務器，
5）利用產品業務邏輯解決（讀寫分離，備份讀不到，讀主）

配置Sersync

實作web服務器上傳視頻檔案，實則是寫入NFS存盤，當NFS存在新的資料則會實時的復制到備份服務器

配置backup服務器

安裝rsync

[root@backup ~]# yum install rsync -y

配置rsync

[root@backup ~]# cat /etc/rsyncd.conf 
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = true
secrets file = /etc/rsync.password
auth users = rsync_backup
log file = /var/log/rsyncd.log
#####################################
[backup]
path = /backup

[data]
path = /data

創建目錄

兩個模塊所以創建兩個目錄
[root@backup ~]# mkdir /backup
[root@backup ~]# mkdir /data

創建用戶并授權

創建一個虛擬用戶rsync 
將backup目錄所屬用戶和組修改為rsync

[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# chown -R rsync.rsync /backup/ /data/
[root@backup ~]# ll -d /backup/ /data/
drwxr-xr-x 7 rsync rsync 256 9月   7 08:52 /backup/
drwxr-xr-x 2 rsync rsync   6 9月   7 11:44 /data/

創建鏈接的虛擬用戶

[root@backup ~]# echo "rsync_backup:1" /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

啟動rsyncd

[root@backup ~]# systemctl restart rsyncd

配置nfs服務器

安裝nfs

[root@nfs ~]# yum install nfs-utils -y

配置nfs

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

配置nfs依賴環境

[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data

啟動nfs

[root@nfs ~]# systemctl enable rpcbind nfs-utils
[root@nfs ~]# systemctl start rpcbind nfs-server

配置web服務器

安裝工具包

[root@web01 ~]# yum install nfs-utils -y

[root@web01 ~]# systemctl start rpcbind

創建用于掛載的目錄

[root@web01 ~]# mkdir /data

掛載nfs的data目錄

[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /data

檢查以上操作

通過windows上傳一個視頻或圖片至web服務器的/data目錄
驗證內容是否存在nfs服務器

[root@nfs ~]# ls /data/
1111  cad88c2e57f44e93b664a48a98a47108_th.jpg  tes1  test

配置實時同步

為了防止nfs down機后丟失資料，希望nfs共享的data目錄一旦發生變化，則實時的同步至backup服務器
操作如下：
在nfs服務器的操作

安裝inotify-tools

[root@nfs ~]# yum install inotify-tools rsync -y

安裝sersync

[root@nfs ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

解壓并重命名

[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# mv GNU-Linux-x86/ /usr/local/sersync

配置sersync組態檔

以下為要修改的內容

[root@nfs01 sersync]# vim confxml.xml
  5     <fileSystem xfs="true"/>  <!-- 檔案系統 -->
  6     <filter start="false">  <!-- 排除不想同步的檔案-->
  7         <exclude expression="(.*)\.svn"></exclude>
  8         <exclude expression="(.*)\.gz"></exclude>
  9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>

 12     <inotify> <!-- 監控的事件型別 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>

 23     <sersync>
 24         <localpath watch="/data"> <!-- 監控的目錄 -->
 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模塊 -->
 28         </localpath>

 29         <rsync> <!-- rsync的選項 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

            <!-- 每60分鐘執行一次同步-->
  36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
    ault every 60mins execute once-->

創建密碼檔案

[root@nfs01 sersync]# echo "1" > /etc/rsync.pass

[root@nfs ~]# chmod 600 /etc/rsync.pass

啟動sersync

啟動sersync

[root@nfs ~]# /usr/local/sersync/sersync2  -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________

引數-d:啟用守護行程模式
引數-r:在監控前，將監控目錄與遠程主機用rsync命令推送一遍
引數-n: 指定開啟守護執行緒的數量，默認為10個
引數-o:指定組態檔，默認使用confxml.xml檔案
引數-m:單獨啟用其他模塊，使用 -m refreshCDN 開啟重繪CDN模塊
引數-m:單獨啟用其他模塊，使用 -m socket 開啟socket模塊
引數-m:單獨啟用其他模塊，使用 -m http 開啟http模塊
不加-m引數，則默認執行同步程式
________________________________________________________________

[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
注意：如果發生錯誤，請手動執行命令檢查推送是否正常
[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 [email protected]::data --password-file=/etc/rsync.pass

nfs服務器宕機換掛載點

如果nfs現在down機了，希望將web客戶端掛載至backup服務器上？怎么實作？

nfs和backup兩臺服務器應該保持一樣（nfs配置，nfs共享的目錄，nfs的權限）
[root@backup ~]# yum install nfs-utils -y
[root@backup ~]# rsync -avz [email protected]:/etc/exports /etc/
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -u666 -g666 www
啟動nfs
[root@backup ~]# systemctl start rpcbind
[root@backup ~]# systemctl start nfs-server
修改rsync的權限vim /etc/rsyncd.conf
uid = www
gid = www
修改授權
[root@backup ~]# chown -R www.www /data/ /backup/
重啟rsync
[root@backup ~]# systemctl restart rsyncd
模擬nfs故障（掛起虛擬機）
web強制卸載172.16.1.31:/data       
[root@web01 ~]# umount -lf /data
web嘗試掛載172.16.1.41:/data 
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /data/

serync擴展補充

下載serync的方法

serync使用yum是無法下載的  serync是一個下載解壓即用的軟體包

sersync專案地址：  https://github.com/wsgzao/sersync
找到下載的地方  下載后直接上傳到linux服務器里 解壓后即用

直接復制下載地址 在linux內下載
[root@nfs ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

sersync組態檔詳解

confxml.xml檔案的內容


    #hostip本機的Ip地址，后臺使用那個埠來進行實時備份
    
    #是否開啟debug 除錯資訊
    
    #是否支持xfs檔案系統，如果有磁區檔案系統為xfs的時候，需要開啟這個選項
    
    #是否開啟過濾，排除
    
    #exclude排除這些檔案名中包含這些字符的，不推送這些
    
    
    
    
    
    #inotify模塊的配置
    
    #是否開啟完全同步，源檔案里面有什么，目標檔案里面就有什么，特別危險，不開啟
    
    #是否監控目錄，如果不開啟他將不監控這個目錄下的子檔案和子目錄的更改，除非有特殊要求，否則必須開啟
    
    #創建檔案就監控，我們一般把這個設為false，否則太消耗性能
    
    #檔案關閉的時候就推送，這個開啟，新建檔案打開這個就會對上面的進行備份了
    
    #mv剪切走
    
    #mv剪切到這個檔案里面
    
    #更改檔案隱藏屬性
    
    #監控權限更改就會推送，一般選擇開啟
    
    

    #本地要備份的目錄
    
        #遠程rsync的地址，和使用的模塊
        
        
        
    
    
        #rsync推送的使用的引數
        
        #是不是開啟用戶認證，使用的那個用戶，密碼檔案什么，密碼檔案權限必須是600
        
        #服務端使用的那個埠，埠地址是什么
        
        #推送超時時間，超過這個時間就認為推送不成功，
        
        
    
    
    
        
        
        
        
    
    
    
      
    
        
        
    
    

標籤：Linux

上一篇：linux常用命令

下一篇：linux I/O重定向及管道