🌲 前言

最近新接觸了一個資料同步的產品：Tapdata Cloud ，

Tapdata Cloud 是由 Tapdata 提供的集資料同步、資料融合（即將上線）、資料服務（即將上線）為一體的實時資料融合服務，能夠在跨云、跨地域、多型別資料源的場景下，提供毫秒級的實時資料同步服務和資料融合服務，

官網地址：https://cloud.tapdata.net/

本文主要演示通過 Tapdata Cloud 來進行 Oracle 資料同步，ヾ(?°?°?)ﾉﾞ

?? 環境準備

Tapdata 部署支持 Windows64，Linux64，docker 三種環境；本文使用 Linux64 環境進行同步測驗，

💻 Linux 環境部署

使用 Vagrant 快速部署環境，想玩的朋友可以參考：??萬字圖文?? 帶你 Vagrant 從入門到超神！??

1、添加 Vagrant box

使用 Vagrant 快速部署一套 Linux 環境，主機版本 Centos7.9，

2、初始化啟動 Linux 主機

通過新添加的 box 初始化 Vagrantfile：

Vagrant 啟動主機：

3、Vagrant 連接主機

通過 vagrant ssh 連接已成功部署的 Centos 環境：

修改 root 用戶密碼：

修改玩 root 密碼后，通過 su - 切換到 root 用戶，

🌩 Tapdata Agent 本地部署

?? 為什么要部署 Tapdata Agent 到本地環境？??

Tapdata Agent是資料同步、資料異構、資料開發場景中的關鍵程式，以上場景對資料的流轉有著極高的實時性要求，因此，通過下載Tapdata Agent并將其部署在你的本地環境，基于低延遲的本地網路，Tapdata Agent能夠發揮最大性能以確保資料流轉的實時性，

1、安裝 Java 環境

Tapdata Agent 的運行依賴本地 Java 環境，因此，在部署前你需要檢查本地否已經安裝java環境，例如在命令列中使用下方命令:

java -version

如圖 java -version 回傳例外，則說明java環境可能未安裝，可參考下方的命令為本地安裝java環境（本提示中的openjdk版本僅用于示例）：

yum -y install java-1.8.0-openjdk

在本地java環境安裝完畢后，即可開始下載Tapdata Agent，

2、下載 Tapdata Agent 并部署

安裝前請確認您的部署環境中已安裝Java1.8版本并正確配置環境變數，

Tapdata Agent 下載界面：https://cloud.tapdata.net/console/#/fastDownload

下載 Tapdata Agent ，官方非常建議在一個獨立、干凈的檔案夾內部署 Tapdata Agent ：

#通過wget下載Tapdata Agent至本地環境
mkdir /tapdata
cd /tapdata
wget "https://resource.tapdata.net/package/feagent/dfs-1.0.4-prod/tapdata"

下載、部署 Tapdata Agent 無需 root 權限，只需要對部署目錄具備讀寫權限即可，因此創建 tapdata 用戶：

groupadd tapdata
useradd -g tapdata tapdata

授權用戶 tabpdata 訪問目錄 /tapdata 權限：

chown -R tapdata:tapdata /tapdata
chmod +x /tapdata/tapdata

切換到 tapdata 用戶，開始安裝部署 tapdata ：

su - tapdata
cd /tapdata
./tapdata start backend --downloadUrl https://resource.tapdata.net/package/feagent/dfs-1.0.4-prod/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1YDkAXDfFv6XW/comFuRjivUKI0bU2CJbyb9YX2hukWTYG7rnIlkqV6c1QG//tczPtDt4Bvjy5eqwShMLprhyrzjDysD0Zqfag0tfN0rKB8YbGn87/61rWjizqFuByrG+V2RQCKmccHqWLwjAKLeMEYFUW6imRIHTrEHFQ9u5qDEDB4xza6Nz+ZeDgwNTHYQAChlL1rg+2B6g8C55dTKdQvOTiumURSbnY3Z8IURjYOw4INb5NmhUFvlcceX6OMguQVMrKfiV2vYzpSAcFKB+3KGJVj71tKGRxaSuZI5AINPxECZg+kgE2vUTMhFwZ9I2oPLDGntSWSnYp2MVqUnTNq446ikmUIuEsTTPhsiTcHO2/8oniGzy4gMGvSmofZI2w==

待上方命令執行完畢后，出現如圖所示日志則代表Agent啟動成功，

3、Tapdata Agent 管理命令

在本地對 Tapdata Agent 進行管理，建議設定 /tapdata 環境變數：

cat <<EOF>~/.bash_profile
export TAPDATA_HOME=/tapdata
export PATH=$TAPDATA_HOME:$PATH
EOF

source ~/.bash_profile

#關閉 Tapdata Agent
tapdata stop

#啟動 Tapdata Agent
tapdata start 

#查看 Tapdata Agent 狀態
tapdata status

Tapdata Agent本地目錄結構及功能簡介：

至此，Tapdata 環境準備已經完成，🎉

🔆 Oracle 環境部署

同樣使用 Vagrant 安裝兩套 Linux 主機環境，使用 Oracle 一鍵安裝腳本 安裝資料庫：

1、部署 oracle11g 主機

創建安裝目錄并上傳安裝介質：

mkdir oracle11g
mkdir oracle12c
mkdir software

?? 安裝介質獲取方式：Oracle安裝包，Oracle一鍵安裝腳本，

3、配置 Shell 腳本

分別進入 oracle11g 和 oracle12c 目錄下，創建 scripts 目錄：

mkdir scripts
cat <<EOF>ora_preinstall.sh
#change root password
echo oracle | passwd --stdin root
#change sshd_config
sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/' /etc/ssh/sshd_config
systemctl reload sshd.service
#mkdir software dir
mkdir /soft
#cp software to softdir
cp /vagrant/* /soft
#chmod shell script
chmod +x /soft/OracleShellInstall.sh
#install oracle database
cd /soft
./OracleShellInstall.sh -i 192.168.1.140 -installmode single -dbv 11g -iso N
EOF

需要注意 -dbv 和 -i 引數，需要根據實際情況修改，12C 需要修改為對應 12c，

3、配置 Vagrantfile 腳本

Oracle 11G：

cd oracle11g
cat <<EOF>Vagrantfile
Vagrant.configure("2") do |config|
  config.vm.box = "centos79"
  config.vm.provision :shell, path: "/Volumes/DBA/vagrant/oracle11g/scripts/ora_preinstall.sh"
  config.vm.synced_folder "/Volumes/DBA/vagrant/software", "/vagrant"
  config.vm.network :forwarded_port, guest: 1521, host: 1521
  config.vm.network :forwarded_port, guest: 22, host: 22
  config.vm.network "public_network", ip: "192.168.1.140"
  config.vm.provider "virtualbox" do |vb|
  vb.name = "orcl11g"
  vb.memory = 2048
  vb.cpus = 2
  end
end
EOF

Oracle 12C：

cd oracle12c
cat <<EOF>Vagrantfile
Vagrant.configure("2") do |config|
  config.vm.box = "centos79"
  config.vm.provision :shell, path: "/Volumes/DBA/vagrant/oracle12c/scripts/ora_preinstall.sh"
  config.vm.synced_folder "/Volumes/DBA/vagrant/software", "/vagrant"
  config.vm.network :forwarded_port, guest: 1521, host: 1522
  config.vm.network :forwarded_port, guest: 22, host: 23
  config.vm.network "public_network", ip: "192.168.1.150"
  config.vm.provider "virtualbox" do |vb|
  vb.name = "orcl12c"
  vb.memory = 2048
  vb.cpus = 2
  end
end
EOF

4、啟動部署 Oracle 資料庫

cd oracle11g
vagrant up --provider=virtualbox
cd oracle12c
vagrant up --provider=virtualbox

5、Oracle 11G+12C 創建測驗資料

create user tapdata identified by tapdata;
grant dba to tapdata;
conn tapdata/tapdata;
create table tapdata (id number,name varchar(100));
insert into tapdata values (1,'lucifer');
insert into tapdata values (2,'lucifer1');
insert into tapdata values (3,'lucifer2');
commit;

?? 想了解的朋友可參考：??

• Vagrant 一鍵搞定 Oracle 資料庫安裝
• 我寫了4000多行Shell腳本，終于實作了一鍵安裝Oracle RAC！！！

💛 資料同步 Oracle 11GR2 --> 12C

?? 資料同步介紹

作業原理：

資料同步功能是 Tapdata 資料中臺的重要功能，同時也是 Tapdata 的核心優勢，如上圖所示，在兩個資料存盤節點中，Tapdata Agent 作為處理的橋梁，在用戶簡單設定后即可全自動的將資料從一個節點中讀取（源端），并寫入至另一個節點（目標端），在整個程序中，Tapdata Agent 僅作為資料的處理層確保處理的流程符合用戶的預期，Tapdata Agent 不會對用戶資料做任何形式的上傳、保存，

接入、同步、異構：

在資料同步功能中，Tapdata 中臺支持多種資料存盤的接入，其不僅支持同型別資料存盤（如 MySQL 到MySQL，Oracle 到Oracle）之間的資料同步，同時也支持不同型別資料存盤（如 Oracle 到 MySQL，MySQL 到 MongoDB）之間以異構方式進行資料同步，

任務型別：

基于Tapdata Agent的可配置性，其支持全量同步、全量及增量兩種任務型別，用戶可根據對應的資料場景選擇對應的同步模式來滿足需求，如全量同步適合一次性的資料遷移、異構場景，而全量及增量同步則適合實時的資料遷移、異構場景，

?? ORACLE 配置 Tapdata（源端+目標端）

確保在 Tapdata 中成功添加和使用Oracle資料庫，注意：Oracle 實時同步基于Oracle Redo Log，因此需要提前執行某些配置，

1、開啟歸檔日志

以具有 DBA 權限的用戶身份登錄資料庫

sqlplus / as sysdba

查看資料庫的 logging mode

select log_mode from v$database;

如果回傳的結果是 NOARCHIVELOG , 繼續按照以下步驟操作:

關閉資料庫:

shutdown immediate;

啟動并掛載資料庫:

startup mount;

開啟歸檔模式并打開資料庫:

alter database archivelog;
alter database open;

2、開啟 Supplemental Logging

11G：

alter database add supplemental log data;
alter system switch logfile;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

12C：

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
ALTER SYSTEM SWITCH LOGFILE;
SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

3、創建用戶賬號

創建用戶帳戶并分配權限：

--前面已經創建，這里不再創建用戶
--CREATE USER tapdata IDENTIFIED BY tapdata;
GRANT create session, alter session, execute_catalog_role, select any dictionary, select any transaction, select any table, create any table, create any index, unlimited tablespace to tapdata;

至此，已配置完 Oracle 11G 源端資料庫，

?? Tapdata Cloud 連接 Oracle 11G+12C

首先需要打開 Tapdata Cloud 控制臺，

1、創建連接

2、選擇 Oracle

3、填寫關鍵資訊

根據提示填寫資訊，具體可參考：Oracle 創建連接

注意：這里的 Schema 值需要大寫！

4、測驗連接

測驗連接是否成功，具體可參考：Oracel 的連接測驗與常見問題

以同樣的方式添加 Oracle 12C ，添加成功后顯示如下：

🌀 創建同步任務

創建好連接之后，需要創建任務來配置進行資料同步，

1、創建任務

配置源端和目標端連接，選擇上一步中新建的連接：

2、配置任務

設定任務，本次選擇 全量+增量 型別，全量寫入模式：

3、選擇同步表

這里選擇需要同步的表，添加到目標端：

同時還支持 改名 和 欄位映射：

點擊完成按鈕，即可，如果點擊沒有反應，可以嘗試退回上一步，再回來點擊完成，

4、啟動任務

點擊完成后，任務狀態為 待啟動，可以通過啟動任務來開始：

先去目標端 Oracle 12C 查詢表 Lucifer 是否存在：

select * from lucifer;

確認沒有表 Lucifer，啟動任務：

5、運行監控

點擊 運行監控 可以看到同步情：

6、報錯處理

可以看到，這里報錯了，看了一下日志記錄：

由于我之前創建表時，沒有創建主鍵，咨詢官方之后，確認必須需要表帶主鍵才可以，因此，新增表主鍵：

alter table lucifer add constraint tb_lucifer_pk primary key (id);
alter table tapdata add constraint tb_tapdata_pk primary key (id);

新增表主鍵之后，需要重新加載資料源，即連接管理那里連接測驗即可，

回到運行監控頁面，重置之后重新同步：

重置 即清除進度，回到最初，然后點擊啟動即可，

7、同步測驗

連接 Oracle 12C 目標端，查詢 Lucifer 表的資料：

發現資料已經同步成功，

測驗源端 Oracle 11G 寫入資料之后，目標端是否同步：

源端：

insert into tapdata values (17,'haha');
insert into lucifer values (26,'hah1a');
delete from tapdata where id=1;
delete from lucifer where id=2;
commit;

目標端：

select * from lucifer;
select * from tapdata;

查看監控頁面，可以發現源端的操作記錄均已同步：

?? 至此，Oracle 不同版本間的實時資料同步測驗已經完成，

🌊 寫在最后

首先，給 Tapdata 的檔案點贊一波，寫的真的很詳細易懂！

本文從無到有地展示了所有環境的安裝部署，資料同步的完整步驟以及一些需要注意的事項，可以說是盡善盡美了，之后，應該還會寫異構資料庫之間的同步教程，

總體體驗來說，Tapdata Cloud 在安裝部署和使用方面，大大降低了技術難度，相較于其他一些資料同步產品，在入門體驗上更好，關于實時同步的效率，由于沒有實測生產，不做過多的評價，

感興趣的朋友可以多多測驗，希望 Tapdata 能夠越做越好！同時還可以參加 Tapdata 的新活動：推薦 | 異構資料庫同步云平臺 Tapdata Cloud 開啟有獎公測，?? 獎品確實很豐厚！

本次分享到此結束啦~

如果覺得文章對你有幫助，點贊、收藏、關注、評論，一鍵四連支持，你的支持就是我創作最大的動力，