背景
公司專案的資料想同步到局域網做資料分析，加上部署了主從資料進行讀寫分離！之前公司的DBA部署了主從分離（發布訂閱的方案），加上做了容災方案！但是容災的資料不能訪問資料！這就比較尷尬了！如果資料要存盤多份的時候，為了保證資料的準備性，我們需要保證資料更新的同步性
想要實作的架構如圖:
資料同步方式
1.全量同步：就是每天定時（避開業務高峰期）或者周期性全部把資料從一個地方拷貝到另一地方，（全部的資料）
2.增量同步：只需要去同步那些改動過，需要跟新的資料，增量的基礎是全量，首先需要將全量資料拷貝過來，然后再采用增量方式同步更新，增量會抓取某個時刻（更新時間）或者檢查點（checkpoint）以后的資料來同步，這里有個關鍵性的前提：副本一端要記錄或知道（通過查詢更新日志或者訂閱更新）哪些資料更新了
各自的優缺點
增量：生成和接受方生成和處理資料邏輯復雜，時間一長容易造成資料不一致問題
1??資料提供方，制作增量包很麻煩，所有的改動都要記錄，稍微記錯就全部完了
2??資料接收方，更加增量包來實施更新的邏輯比較麻煩
3??中間程序出現問題是很難定位的
全量：
1??資料量太大，沒有改動的資料也要同步
2??生成方和消費方的邏輯比較簡單，固定某一時刻匯出重新生成所有的資料，于是對于全面性和準確方面需要很高的要求，
之前在網上找了一個叫SyncNavigator的軟體，聯系了客服，問客服每秒能同步多少條資料，客服說：200-300之間！這個同步級針對資料量比較大，如每小時產生10w級以上的資料的時候，沒法做到每小時增量同步！
后臺趴出一個專門做sqlserver的資料同步工具:DM+，能達到每秒10萬級的：
操作如圖:
1.配置資料庫連接
2配置好鏈接后，打開sqlserver手動同步，選擇要同步的源庫和目標庫，如下圖，
主要功能有：
a.清除資料日志
b.全量同步：可調整每次同步的數量，集群，和表結構同步
c.增量同步：可以指定幾天前的資料進行增量同步
d.多鏈接同步：允許將源庫的資料同步至好幾個目標庫
c.可加入定時任務同步：有每N分鐘同步，每周同步，每天指定時間同步
e.增加集群式同步:配置集群3-1，3-2，3-3 表示開啟3個集群同步
如圖的執行結果可以看出：同步130w耗時2分鐘 ，其主要耗時在讀資料上耗時較久，同步還是達到秒級，如果服務器的配置：cpu,記憶體夠大甚至會更快
3.定時同步配置
軟體：DM+ 郵箱:602392714@qq.com
本文轉載:程式員的自我修養熱衷分享編程精神的程式員網站 - w0.wiki
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/385529.html
標籤：其他