2022年11月7日,Taier1.3版本正式發布!
Taier 是一個大資料分布式可視化的DAG任務調度系統,旨在降低ETL開發成本、提高大資料平臺穩定性,大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜復雜的依賴關系與底層的大資料平臺的架構實作,將作業的重心更多地聚焦在業務之中,
Taier自今年2月份開源之后,得到了社區開發者的廣泛支持,我們積極吸收社區開發者的意見建議,不斷迭代版本,目前已發布了Taier1.1、Taier1.2這兩個大的版本更新,
本次發布的Taier1.3版本,我們新增了Flink Standalone組件,融合了DataSourceX的模塊,并新增了Python、Shell、ClickHouse、Doris SQL等多種任務,任務資料源系結,任務支持指定佇列運行,并進行了部署優化,同時對官網社區的UI進行了全新的升級改造,
目前新版本已在Github與Gitee上線,同時使用檔案也在社區推送,大家可以隨時下載查閱,歡迎大家前往體驗(喜歡我們的專案歡迎大家點個Star),體驗地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社區官網:
https://dtstack.github.io/Taier/
同時為了方便沒有釘釘的開發者們更好的交流Taier開源技術,我們新建了Taier開源技術微信交流群,歡迎大家加入一起探討開源技術~

Taier1.3版本詳解
01 新增Flink Standalone
新增Flink Standalone組件,可以通過Flink Standalone使用Flink SQL、資料同步、實時采集等任務相關功能,移除Taier對Hadoop組件的強依賴,支持輕量化的資料處理,

02 DataSourceX融合
Taier融合DataSourceX模塊,移除Taier外部插件依賴,新增資料源插件相關特性,支持后續Taier對接更多的RDBMS型別的SQL任務,
03 新增Python、Shell任務
新增Script組件,支持Python、Shell任務型別,可以在Taier上通過腳本型別任務進行操作,


04 新增ClickHouse、Doris SQL任務
新增ClickHouse、Doris SQL任務型別,支持資料同步腳本模式到ClickHouse、Doris,再進行任務調度處理,
05 任務資料源系結
控制臺組件移除SQL型別組件配置,SQL任務直接和資料源互相系結,支持任務和資料源一對一的執行,將SQL執行域細分到具體的單個資料源,

06 任務支持指定佇列運行
Hadoop型別任務支持指定佇列運行,佇列資源隔離細分到任務級別,
07 部署優化
Taier優化單機部署,優化前后端部署操作,簡化docker鏡像部署流程,降低上手難度,
08 官網升級
Taier社區新官網上線,UI設計全面升級,

后續版本規劃
Taier今年更新了3個大的版本,按照社區規劃,后續版本我們計劃重點圍繞關鍵點:
● 完善Taier Datasource 模板支持SQL任務
● HadoopMR、Spark Jar、PySpark 任務支持
● 任務告警
● Windows開發環境適配
我們歡迎社區的開發者們一起參與到Taier的版本建設中來,同時大家如果有其他的意見建議也可以給我們提一個Issue或者PR,大家可以來一起探討怎么更好的共建專案,感興趣的小伙伴們可以加入我們的技術交流社群,一起交流Taier的技術問題及難點,共建Taier!
袋鼠云開源框架釘釘技術交流qun(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:https://github.com/DTStack/Taier
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/530020.html
標籤:大數據
