有了它，資料庫也能空中加油，一邊遷移一邊跑起來

近日，在2020中國系統架構師大會上，騰訊云資料庫技術負責人雷海林圍繞騰訊云資料庫異構多源同步遷移技術方案進行了分享，“資料庫未來一定是向分布式方向發展，資料庫核動力升級的時代即將到來，”雷海林表示，

Part1 國產化巨浪加速

從計算機出現開始，在各行各業的電子化發展程序中，傳統關系型資料庫都發揮著至關重要的作用，成為銀行、保險、證券、政務、醫療等各行業電子系統的核心基礎軟體系統，

而隨著云計算、數字互聯網等新一代技術變遷，近年來關系型資料庫也隨之發生變革，形成了從以國外商業資料庫為代表的傳統集中式資料庫，向以國內科技巨頭研發沉淀的分布式資料庫轉變的趨勢浪潮，以實作全行業技術的分布式轉型升級，國外傳統集中式資料庫，性能瓶頸明顯、成本消耗巨大，而基于云計算時代的彈性可擴展分布式資料庫，具備高性能低成本、彈性伸縮等優勢，從集中式向分布式遷移，好比柴油動力終將為核動力所替換，

對于國內產業機構而言，實作核心技術安全可控、降本增效也成為了產業升級下刻不容緩需要實施變革的問題，隨著近年來相關政府監管部門連續出臺重要指導政策，企業資料庫擺脫國外資料庫依賴、從國外傳統集中式資料庫向基于國產分布式資料庫遷移上云成為大勢所趨，國際權威咨詢機構Gartner在最新資料庫行業研究報告中指出，預計到2021年，云資料庫在整個資料庫市場中的占比將首次達到50%；而到2023年，75%的資料庫要跑在云平臺之上，

然而，由于資料庫關系資料安全命脈、遷移成本以及技術復雜程度高、新目標資料庫難以選型等問題，過去企業資料庫國產化行程仍處于逐步探索、推程序序中，騰訊云資料庫基于近年來大量豐富的資料庫遷移實踐，一方面沉淀了完善的云計算分布式資料庫產品系列，可適應廣泛的企業資料庫遷移轉型需求，同時沉淀打造出標準成熟、可驗證可復用的資料庫遷移解決方案——多源異構遷移同步解決方案DBbridge，并將其打造成平臺型能力，助力客戶實作資料庫平穩快速遷移，大幅降低資料庫遷移改造成本，

在這樣的基礎上，行業分布式技術轉型乘風破浪，資料庫國產化浪潮正加速推進，成為時代技術變革的重要推動，據統計，經過數年的發展，隨著資料庫底層能力的升級以及智能調度、智能診斷、異構遷移同步等周邊能力完善，截至2020年9月，騰訊云資料庫服務客戶數已經超50萬，其中還不乏擁有超過1萬個資料庫實體的客戶的存在，充分證明騰訊云資料庫系列產品能力以及資料庫遷移同步等服務能力具備領先優勢，

Part2 資料庫遷移的痛點

資料庫負責所有業務系統的資料存盤計算與交易，牽一發而動全一身，同時由于多年來基于生態封閉的傳統國外資料庫產品，系統兼容性程度復雜，更重要的是，作為系統架構轉型的關鍵支點，資料庫遷移一方面可實作安全可控，另一方面是需要幫助企業考慮如何應對在云計算時代未來業務和系統的數字化、多元化發展需求，因此資料庫的選型同樣至關重要，

由此種種，企業資料庫分布式轉型、國產化遷移程序中，面臨多個痛點，總結起來包括：

1. 遷移成本高，作業量大，人工操作資料庫遷移風險較高，遷移周期長，耗費的人力成本較高，

2. 資料庫遷移技術復雜，資料庫遷移對操作人員的技術水平要求較高，不僅需要掌握源資料庫的技識訓有懂得目的資料庫的技術，并了解資料庫之間遷移技術，

3. 異構資料庫的兼容程度不好評估，源庫遷移到目的資料庫的物件兼容程度如何，應用SQL兼容程度如何，遷移改造的風險和難度如何量化評估，

4. 遷移程序無標準化流程，整個遷移程序復用程度低，沒有一個標準化的最佳實踐方案，

5. 目標資料庫選型困難，國產資料庫型別較多，無法快速選擇適合業務場景的資料庫型別，

Part3 資料庫更新迭代快

在對外開放核心技術產品，推動行業資料庫及系統技術架構轉型升級的產業化實踐中，騰訊云資料庫基于騰訊聯合生態內多年資料庫運維和工程師研發經驗的技識訓累，將海量實體的資料遷移同步經驗與技術實踐沉淀成DTS-DBbridge資料庫遷移平臺，為行業提供簡單易用的資料庫遷移平臺，

具體來說，DTS-DBbridge資料庫遷移平臺以騰訊云資料庫多源異構資料遷移同步（MULTISRCSYNC）為技術核心，包含強大的自動化評估和改造工具、標準化的異構資料庫遷移流程方案等，從評估、選型、改造、遷移、校驗等每個環節，用戶都只需通過滑鼠即可完成可視化操作，即可以實作高性能、高可用、高可靠的資料庫遷移，真正做到便捷、安全、易運維，

同時，騰訊云提供自研的多引擎云原生資料庫CynosDB、金融級分布式資料庫CynosDB（TDSQL）和分析型資料庫CynosDB（Tbase）等完善的資料庫產品體系，可滿足云計算時代行業對資料庫的多種業務場景需求，為企業客戶提供完整的資料庫遷移改造解決方案，

Part4 資料庫遷移評估與決策

資料庫遷移前，DTS-DBbridge平臺首先將基于對原資料庫的資料分析，并結合企業實際業務規劃，進行包括兼容性、復雜度、作業量、遷移耗時等模塊數百個指標在內的可行性與最佳方案綜合評估，最終產生詳盡的遷移報告，以及針對每個企業的技術與業務規劃特點，輸出個性化資料庫整體解決方案，

在評估程序中，例如針對兼容性的評估，可精細化掃描識別哪些兼容、哪些不兼容，不兼容點將根據客戶要求評估并形成改造方案，

Part5 資料遷移準備與實施

完成評估與決策后，可基于DBbridge實施應用系統與源端資料庫，向目標端系統與資料庫進行遷移改造，

除了資料庫轉型升級的場景需求，事實上，為實作資料解耦及匯總的需求，企業日常同時存在基于資料遷移、分發、容災備份等訴求而進行多源異構遷移，針對以上場景，騰訊云資料庫DBbridge具備高性能、高一致、支持多種異構資料平臺的資料分發的特性，其支持以騰訊云資料庫作為源端的資料實時同步分發至 MySQL、Oracle、PostgreSQL、訊息佇列等平臺，同時也支持以騰訊云資料庫作為目標端，將 MySQL 或者 Oracle 的資料實時同步至騰訊云資料庫中,并且部署靈活，支持一對多，多對一等多種復制拓撲結構，

多源同步模塊典型的基于日志的 CDC 復制技術，其系統架構如下：

同時，基于高度標準化、平臺化的產品服務，DBbridge支持用戶可視化便捷操作，完成多源異構資料庫之間的結構遷移、增量同步，

此外，騰訊云資料庫提供完善的服務保障，整體遷移方案采取平穩過渡，在服務交割遷移中，將采取原應用系統和新應用系統并行跑一段時間的措施，測驗新應用系統沒有問題后，做正式的服務交割，

Part6 資料庫遷移自動化校驗

最后，在這一套同步的資料鏈路程序中，騰訊云DTS-DBbridge同時提供資料校驗的服務，以保證多活基礎上資料遷移同步的一致性、可靠性，

主要包括兩個方面：一是增量校驗，含義就是會實時校驗這一筆資料從源端抽取，到它的增量變化，再到寫到目標端之后，這筆資料落庫落得準不準確，是不是在正確的目標上寫下這筆資料；二是存量校驗，可能是一些定時定期去跑批，比如說定期對源和目標的資料進行整體的校驗，以能夠主動及時地發現整個資料通路上的問題和錯誤，

基于資料同步的跨城雙活架構：

首先左邊和右邊代表不同的城市，這里舉例左邊是深圳，右邊是上海，從圖上可以看到，騰訊云CynosDB(TDSQL)在SZ這套實體會將業務不斷寫入的增量資料源源不斷地寫入本城的訊息佇列里面，對城的SH也會將自己業務訪問的增量資料源源不斷寫到訊息佇列里面，同時在各個城市有一套自己的消費服務，這套消費服務會拉取對端的增量資料，也就是說會拉對城的訊息佇列里面的增量資料進行重放，這樣就實作了兩套基于資料同步的一套跨城雙活，這個雙活是有前提條件的——就是兩套業務在SZ和SH同時寫的時候，它的訪問主鍵一定是分離，在這一套邏輯下面沒有辦法做到同時對同一條主鍵進行修改，

Part7 資料庫遷移高可用多源同步

安全問題是資料庫遷移考慮的重中之重，值得一提的是，基于多源同步的方案實踐，還能實作資料庫遷移中的安全風險控制，因為準實時的資料同步分發與雙向資料遷移等性能特性，使得多源同步服務輕松實作了解耦與風險控制，保障系統持續可用，

資料庫遷移涉及大量核心資料資訊，“快”和“穩”缺一不可，多源同步服務作為騰訊云資料庫內置功能特性，在資料庫國產化轉型實踐中久經驗證，至今助力超過600家金融政企機構資料庫國產化遷移投產，

以某省廣電局遷移案例為例，騰訊云多源同步遷移服務通過重新部署業務系統的遷移方式，從遷移準備、遷移評估、方案設計、資源準備及資料庫改造、遷移實施、結果驗證一共只使用30天，其中最為關鍵的資源準備及資料庫改造環節用時7天！將客戶的業務系統資料庫從Oracle遷移到CynosDB(TDSQL)，CynosDB(TDSQL)的性能滿足了客戶面臨的現有的業務壓力，而業務系統遷移程序中對資料完整性保障，為后續新業務系統運維提供了良好的資料基礎，

而在一些金融級高度敏感業務系統遷移實踐中，CynosDB(TDSQL)很好地實踐了兼顧性能和安全的遷移服務策略，以張家港行核心系統資料庫遷移為例，張家港行聯合騰訊云及系統建設方長亮科技，充分結合銀行傳統業務與互聯網業務的場景差異，對業務邏輯進行重新設計，以完成新一代核心系統應用兼容性改造和資料庫升級優化，同時，依托騰訊云提供的異構資料庫同步方案，三方還實施了CynosDB(TDSQL)和集中式資料庫資料準實時同步的策略，作為兜底方案，值得一提的是，這個雙版本同步兜底方案，最終無需派上用場，新核心系統系統平穩上線，順利投產，

本文由博客一文多發平臺 OpenWrite 發布！

標籤：其它

上一篇：從資料庫巨人身上撕開一道口子

下一篇：從資料庫巨人身上撕開一道口子