ChunJun 是一款穩定、易用、高效、批流一體的資料集成框架，?持海量資料的同步與計算，ChunJun 既可以采集靜態的資料，比如 MySQL，HDFS 等，也可以采集實時變化的資料，比如 binlog，Kafka 等，同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算框架，

經過5年的迭代和開發，ChunJun 已經幫助很多公司快速進行資料整合，并解決資料開發人員需要過多進行繁瑣的資料抽取作業的問題，可以專注在企業業務場景的構建，

之前的內容當中，我們已經介紹過 ChunJun 的技術力、優勢，及如何提交 pr、Issue 的方法，作為「chunJun 新手入門」系列的第三篇，本文將為大家介紹如何配置一個 ChunJun 任務以及通過 ChunJun Client 端提交任務的流程等內容，教會大家更好地玩轉 ChunJun，

ChunJun 新手入門

? Hi，我是ChunJun，一個有趣好用的開源專案

? Ding！您有一份ChunJun實用指南，請查收

ChunJun 地址

官網：

https://dtstack.github.io/chunjun/

GitHub：

https://github.com/DTStack/chunjun

Gitee：

https://gitee.com/dtstack_dev_0/chunjun

配置一個 ChunJun 任務

ChunJun 的任務腳本?持兩種模式：Sync(Json) 和 SQL，前者配置更加豐富，底層使?的是 StreamAPI，在同步場景使?的較多；后者借助 Flink SQL 本身的能?，利? SQL 實作對資料的聚合等計算操作，底層使?的是 TableAPI，

Sync

同步任務使?的 Json 格式的配置?件，通過配置 Source/Sink 來完成資料的 EL 流程，?個同步任務的基本結構如下:

{
"job": {
"content": [
{
"nameMapping": {},
"reader": {
"parameter": {},
"name": "reader"
},
"writer": {
"parameter": {},
"name": "writer"
},
"restoration": {
"cache": {
"properties": {}
},
"workerMax": 3,
"workerSize": 3,
"workerNum": 2,
"ddl": {
"properties": {}
}
}
}
],
"setting": {
"restore": {},

● Job 整個任務的引數配置

1）同步任務的算?配置，如 Reader/Writer/Restoration 等，

? nameMapping：表名映射配置，?在 CDC 場景

? reader：同步任務 reader 的配置

? writer：同步任務writer的配置

? restoration：資料還原相關配置

2）setting 系統的?些引數配置，如增量同步(restore)、流控(speed)等，

SQL

ChunJun 的 SQL 任務直接沿?了 FlinkSQL 的引擎，詳細?檔請看：

https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/overview/

● DDL

CREATE TABLE xx(xxx) WITH(xxx); 
CREATE VIEW xxx

● DML

INSERT INTO xxx;

獲取 ChunJun

前置準備

· Java(JDK8);

· Maven(3.6.3，版本太低會找不到對應的 jar，另外，?版本的 Maven 對倉庫地址強制要求是 HTTPS，會存在倉庫地址訪問失敗的情況)

ChunJun 下載

● release 下載

ChunJun release 下載地址：

https://github.com/DTStack/chunjun/releases

● 原始碼編譯

原始碼下載：

https://github.com/DTStack/chunjun.git

ChunJun 是通過 Maven 來進?代碼依賴管理，對應的打包命令是：

mvn clean package -Dmaven.test.skip

ChunJun 使?的是 spotless 插件來進?代碼?格管理，在修改原始碼之后打包，需要對原始碼先執?下 mvn spotless:apply 命令來進?代碼格式化，否則會出現格式化不合規問題，

● 目錄結構

chunjun-dist
├── chunjun-core.jar
├── connector
├── ddl
├── dirty-data-collector
├── docker-build
├── metrics
└── restore-plugins

通過 ChunJun Client 端提交任務

通過 LocalTest、Standalone、Yarn Session、Yarn Perjob 四種模式為大家介紹如何通過ChunJun Client 端提交任務，

LocalTest 模式（適?于本地除錯）

Local Test 模式是針對開發者同學?來進行本地測驗驗證的模塊，只需要修改 main() 中的 jobPath 路徑即可，需要注意，同步任務的腳本請以 json ?件結尾，計算任務的腳本請以 sql ?件結尾，

Standalone 模式

● 環境準備

下載 Flink 并解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

1）下載 ChunJun 并解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2）將 ChunJun-Dist 內容復制到 Flink Lib ?錄下并啟動 Flink Standalone 集群

# copy the chunjun-dist to the flink_lib
cp -r chunjun-dist $FLINK_HOME/lib
# start flink standalone cluster
sh $FLINK_HOME/bin/start-cluster.sh

3）在 Flink classpath 中可以看到 ChunJun 相關 jar，表示啟動成功；

● 提交任務

sh $CHUNJUN_DIST/bin/chunjun-standalone.sh <task-script path>

命令執?成功之后，即可在 Flink WEB UI 中看到對應的任務，

Yarn Session 模式

● 環境準備

1）下載 ChunJun 并解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2）下載 ChunJun 并提交到 Yarn Session 集群中

sh $FLINK_HOME/bin?yarn-session.sh -t $CHUNJUN_DIST -d

· 執?命令成功之后，即可在Yarn Session ?志，對應Classpath 部分中看到 ChunJun 相關的jar， 表示啟動成功；

· 記錄當前 Yarn Session 的，并將任務提交到指定 Session中；

sh ./bin/chunjun-yarn-session.sh -job <task-script path> -confProp {\"yarn.application.id\":\"<ApplicationID>\"} 

之后就可以在 Yarn Session 中看到對應的任務，注意以下兩點：

? 如果將 yarn.application.id 配置到 flink-conf.yaml，那么使?這份配置?件的任務都會提交到這個 id 的 session 中；

? 如果將 yarn.application.id 配置到 confProp，那么僅有當前任務會提交到這個 id 的 session 中，

Yarn Perjob 模式

后續會廢棄這種模式，改? Application 模式，

● 環境準備

下載 Flink 并解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

下載 ChunJun 并解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

● 提交任務

sh ./bin/chunjun-yarn-perjob.sh -job <task-script path>

執?成功之后，可以在 Yarn Web UI 中看到相關任務，

除錯 ChunJun 代碼

除錯代碼能夠更好地定位問題，并解決問題，下?將為開發者介紹如何快速除錯 ChunJun 代碼：

本地除錯

ChunJun 為開發者準備了?個 local-test 模塊，替換 main ?法中的 jobPath 即可，需要提前將相關插件配置在 local-test 模塊的 pom 中，部分插件相互存在依賴沖突，需要開發者關注下，

遠程除錯

在 flink-conf.yaml 中配置 debug 端?即可(端?號可以??定義)，

# debug jobmanager
env.java.opts.jobmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
# debug taskmanager
env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006

《資料治理行業實踐白皮書》下載地址：https://fs80.cn/380a4b

想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠云官網：https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/p/szbky

同時，歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」，交流最新開源技術資訊，qun號碼：30537511，專案地址：https://github.com/DTStack

標籤：大數據

上一篇：ElasticSearch固然好用，但這些南墻不能撞

下一篇：Kafka生產者