南大通用實時同步系統，簡稱：GBase RTSync，它是一款自主研發的異構及同構資料庫增量資料實時同步產品，具備實時性、一致性、精準性、易擴展性和可集成特性，適用于OLTP資料庫與OLAP資料庫聯動向應用系統提供資料管理和資料分析功能的業務場景，可以實作將OLTP資料庫的資料實時同步到OLAP資料庫，從而使得OLAP資料庫具備了實時資料分析的基礎，解決資料增量同步問題，能夠有效提升資料倉庫系統、BI系統和決策支持系統的資料分析效率和及時性。
GBase RTSync關鍵技術
-基于邏輯日志的決議的增量同步對源庫影響小
-在線接管，減少源庫的非計劃停機
-分布式架構支持水平擴展
-與主流訊息中間件兼容Kafka、rabbitMQ
-支持高可用模式
專案需求
國網某省份要重點進行人員、財務、物資、客戶、資產、專案等10個業務主題域模型的資料整合實施作業。資料整合任務涉及物理模型有 3000+ 個，涉及來源表有 3000+ 張等。本專案模型多、表多、表關系復雜度高，但要求資料整合作業快速準確，增量資料準實時同步到資料倉庫中。
專案方案
GBase RTSync+GBase 8a MPP組合。搭建GBase RTSync前置服務器，對接前端貼源歷史庫和后端全域模型的資料明細層及輕度匯總層。RTSync完成歷史資料匯入和源庫零停機的增量資料接入，支撐峰值源庫1.5TB/日的歸檔量的增量同步。GBase RTSync + GBase 8a MPP 集群資料庫深度優化系結方案，滿足海量資料存盤、大規模并行計算、準實時增量流轉等功能需求和性能要求。
專案價值
本專案采用GBase 8a MPP大規模分布式并行資料庫集群系統，搭建14節點集群（5個集群節點+9個資料節點）存盤整合明細資料和輕度匯總資料。
+準實時同步，準確高效：GBase RTSync實作增量抽取、增量加載的資料準實時同步功能，高達秒級同步效率；而且確保同步資料一致；
+海量資料，高速初始化：實作高速加載資料，同時提供高壓縮比入庫從而提升性能，海量存盤能力，整合多業務資料，并可根據需求在線動態擴展；
+全量初始化，無需停機：新業務新表接入國網全業務統一資料中心的源端資料庫不需要停機，也不需要暫停原業務運行，GBase RTSync實作歷史資料和增量資料無縫結合，保障源庫正常運行下，高效加載至整合資料庫中。
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/194612.html
標籤：其他數據庫