ChunJun是一個開始于2018年的批流一體資料集成框架專案,原名FlinkX,2022年2月22日,在FlinkX進行初版開源的整整四年后,技術團隊決定對FlinkX進行整體升級,并更名為ChunJun,希望為大家真正提供一個穩定、高效、易用的批流一體的資料集成框架,
2022年的ChunJun茁壯成長,如今已經是一個由68多位貢獻者協同開發、擁有3437個star的人氣專案,
專案地址:https://github.com/DTStack/chunjun
ChunJun 專案進展
Star數:3437 Fork數:1556
Issue Closed:764 PR Cloesd:523
Contributors:68 Commits:5147
ChunJun 內容輸出
視頻課程:共計15課
涵蓋直播課程、入門指南、解決方案等方方面面
精品文章:共計18篇
帶你快速了解chunJun
技術社群:3898人
已成為大量開發者及大資料愛好者的交流學習平臺
ChunJun 獎項榮譽
入選Gitee最有價值開源專案——GVP

2022 ChunJun大事記
送虎歲,迎兔年,值此除舊迎新之際,想和一直以來關注ChunJun開源社區的朋友聊聊這一年的進展:
2022年2月22日
沉淀了團隊六年來在資料同步和集成方面的實踐經驗,技術團隊決定對FlinkX進行整體升級,并更名為ChunJun,希望為大家真正提供一個穩定、高效、易用的批流一體的資料集成框架,
2022年5月28日
ChunJun社區第一次會議,討論當前第一個版本的roadmap規劃,首次邀請社區小伙伴一起參與討論,內容包括減少啟動引數,讓用戶快速啟動;增加 Docker 部分,用戶直接下載Docker 鏡像,開箱即用等,
2022年6月25日
開源小伙伴貢獻的官網內容正式發布,
官網地址:https://dtstack.github.io/chunjun/
2022年7月9日
ChunJun社區第二次會議,討論當前第二個版本的roadmap規劃,
2022年9月18日
ChunJun社區第三次會議,討論當前第三個版本的roadmap規劃,調整 pr review & merge 規范和流程,
2022 ChunJun活動
2022年8月27日
聯合OceanBase社區主辦開源線下Meetup,發布基于Oceanbase 的離線插件和cdc 插件,并推出聯合方案,

2022年9月24日
參與Hadoop MeetUp,分享ChunJun在實時采集上的功能和新特性,

2022年10月29日
聯合舉辦 COSCon'22 開源年會杭州分會場,分享袋鼠云三大組件 ChunJun、Taier、ChengYing 的配套使用構建,

2022 ChunJun精品課程
2022年4月27日
課程:ChunJun支持異構資料源DDL轉換與自動執行
視頻鏈接:https://sourl.cn/i9CzDP
2022年6月27日
課程:ChunJun資料還原-DDL功能模塊決議
視頻鏈接:https://sourl.cn/ffwtMc
2022年7月6日
課程:ChunJun同步Hive事務表
視頻鏈接:https://sourl.cn/fbaWgD
2022年8月19日
課程:ChunJun資料傳輸模塊介紹
視頻鏈接:https://sourl.cn/iLY7vn
2022年9月22日
課程:ChunJun類加載原理與實作
視頻鏈接:https://s.r.sn.cn/WCWURr
2022年12月9日
課程:ChunJun資料安全之Kerberos介紹
視頻鏈接:https://s.r.sn.cn/Nix84z
2022 ChunJun研發進展
共發布七個版本:
V1.12.1
· 核心資料還原功能框架開發完成,增加了binlog/logminer 對 DDL 的監聽處理;
· 豐富插件,添加Doris 插件;
· 添加ChunJun 對 Flink python udf 的支持;
· 穩定性提升,修復ChunJun 20+ bug,
V1.12.2
· 豐富插件, 添加 inceptor插件;
· 豐富插件,添加 influxdb插件;
· 代碼優化,使用插件 spotless-plugins強制對代碼風格進行檢查;
· es 插件優化,支持 ssl模式;
· gbase 插件優化,支持 update模式;
· k8s 模式下添加對 application mode支持;
· 穩定性提升,修復ChunJun 10+ bug,
V1.12.3
· 豐富插件, 添加 starrocks插件;
· 增量同步支持 datetime型別;
· SQLserver cdc增加對資料型別 smallint的支持;
· 穩定性提升,修復ChunJun 10+ bug,
V1.12.4
· 豐富插件,添加 oceanbase插件;
· 資料還原功能加強,添加中間資料存盤,避免資料丟失;
· 專案名稱調整,從 FlinkX修改為 ChunJun;
· 插件優化,調整 inceptor插件的讀取方式,從原來的 jdbc調整為直接讀取檔案;
· 插件優化,pg讀取插件支持 Array型別;
· 增加對 protobuffer format的支持;
· 穩定性提升,修復ChunJun 20+ bug,
V1.12.5
· 資料同步 jdbc分片優化,添加對 range mode的支持,原先只支持 mod模式分片;
· 易用性提升,添加內置提交腳本,在不同模式下任務提交需要傳入的引數,只需要傳遞 -job和 -confProp即可;
· ChunJun增加一個模塊,準備用于發布安裝包;
· 穩定性提升,修復ChunJun 15+ bug,
V1.12.6
· 優化 ChunJun資料同步的序列化方式;
· ChunJun 添加新的官網,方便社區同學了解閱讀檔案及技術方案;
· 豐富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis讀取插件;
· docker模式的支持,并添加執行腳本和檔案;
· jdbc 插件增強,添加在執行前檢查 dbconn;
· hbase 插件優化和重構,支持 transformer;
· ChunJun 工程支持E2E 功能;
· oracle 插件增強支持 nchar、nvarchar2 型別的中文存盤;
· 穩定性提升,修復ChunJun 30+ bug,
V1.12.7
· 優化 jdbc base模塊,添加對列資訊的初始化功能;
· 優化 ftp讀取性能,添加對大檔案切片的支持;
· hdfs 插件優化,支持 hadoop3.x 版本 orc讀取;
· e2e 功能豐富,添加 ftp container;
· es7 插件優化,支持 type關鍵字;
· 穩定性提升,修復ChunJun 30+ bug,
2023年的ChunJun
ChunJun未來規劃
· 依賴 Flink版本升級到1.16;
· ChunJun 提供Rest api 的server 服務,簡化ChunJun 集成的難度;
· ChunJun 添加資料還原DDL支持Iceberg、Hudi,
兔年祝福
2022年,感謝 ChunJun社區小伙伴們的大力支持,ChunJun走的每一步都離不開你們的幫助,2023年,我們繼續交流,一起進步,
也祝福大家在新的一年里兔飛猛進,快樂,幸福~??
想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠云官網:https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/p/szbky
同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:https://github.com/DTStack
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/543935.html
標籤:大數據
