5分鐘搞定ORACLE到ClickHouse資料遷移同步-CloudCanal實戰-有解無憂

簡述

ClickHouse 是一種流行的列式資料庫，對于計算 uv、mv、pv 等聚合類資料相當友好，所以廣泛使用于各類報表場景，

本文主要介紹如何使用 CloudCanal 快速構建一條穩定高效運行的 ORACLE 到 ClickHouse 資料同步鏈路，
示例中 ORACLE 庫為 PDB 模式, ClickHouse 為單副本實體，

CloudCanal 對于 ORACLE 源端增量同步采用 LogMiner 分析 redo 日志或物化視圖/類trigger 方式進行，
對于前者，我們采用了多種優化方式，將 ORACLE 源端增量同步做到準確、穩定、性能幾個方面的平衡，這些技術包括：

采用 LogMiner 最標準的方式( ADD_FILE)作為默認決議方式，同時輔以 CONTINUOUS_MINE作為補充（有 ORACLE 版本限制）
采用全事件消費模式保障 ORACLE 穩定
支持本地存盤以快取超大變更資料，并采用手動指定序列化/反序列化器讓資料存取更可靠
采用更加全面的 redo SQL 決議器提升決議準確性
支持事件合并，批量交付對端寫入，大幅提升資料寫入性能
支持 DDL 同步（部分鏈路），部分減少資料同步鏈路運維壓力
支持位點回拉，讓資料消費錯誤有機會得以彌補
支持全量資料校驗，讓資料質量得到更好的監測
支持任務編輯，讓長周期運行的資料同步任務更平滑地應對同步物件的變化
加強的監控指標，讓同步狀態更加明了
縮小的資料庫權限，讓風險進一步縮小

圍繞 ORACLE 資料庫的周邊生態，我們希望能夠做到 GoldenGate 一樣強大甚至超出，相關產品技術不斷迭代演進，

CloudCanal 對于 ClickHouse 高性能寫入技術，主要結合列存的特點、常見業務場景流量特點、用戶使用和理解的便利性 3 方面進行選擇與平衡，

列存相對行存的特點:

常見業務場景流量特點：

用戶使用和理解便利性：

針對上述3個方面的特點，我們采用了以下一些技術達成平衡

insert/update 走 APPEND 方式(批量寫入)，delete 走 ALTER TABLE ，性能好，但需要 OPTIMIZE 或查詢帶 FINAL
完全一致通過自定義代碼拆分 update 為 delete 和 insert 達成，但性能降低
默認采用 ReplacingMergeTree 達成資料去重
支持并行批量寫入(但更復雜些)