我們很高興向大家宣布,2023年4月14日,Taier 正式發布 1.4 版本,自2022年2月份 Taier 正式開源以來,收到了很多開發者和行業用戶的積極評價,在諸多生產環境中已得到充分應用,Taier 1.4版本正是吸收了各類實踐經驗及大家的建議,進行了此次迭代優化,
本次更新不僅包含了性能優化和穩定性的提升,還新增了各類任務型別、完善大量任務功能,優化使用場景,持續增強開源產品化技術能力和應用能力,
Taier 是一款好用又強大的大資料分布式可視化的 DAG 任務調度系統,旨在降低 ETL 開發成本、提高大資料平臺穩定性,它讓大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜復雜的依賴關系與底層的大資料平臺的架構實作,將作業的重心更多地聚焦在業務之中,
截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 數已經突破 1.1 k,并擁有37名社區貢獻者,我們在此對所有參與到 Taier 專案及社區建設的朋友們表達由衷的感謝,
目前新版本已在 Github 與 Gitee 上線,歡迎大家前往體驗,
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社區官網:
https://dtstack.github.io/Taier/
Taier 1.4 版本更新亮點
新增任務型別
· 新增 DataX 組件,在無 Hadoop 環境的情況下,Taier 可以通過執行 DataX 的任務來實作異構資料源之間高速穩定的資料同步的能力,增強 Taier 在單機模式下的基礎功能,
· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任務型別,完善 Taier 相關 SQL 任務型別,
· 新增 Hadoop MR 任務型別,可以通過自行撰寫 Map/Reduce 的代碼,來執行對應的資料集的處理,
完善任務功能
· Script 組件新增 Standalone 模式, 支持 Python、Shell 任務本地執行,移除腳本任務對 Hadoop 環境的強依賴,
· 資料同步任務支持 Hive3 的資料源向導模式配置,
· HiveSQL、Spark SQL 的臨時查詢表支持定時清理,
優化使用場景
· 兼容 Taier 在 Window 環境下部署運行的環境問題,
· 優化 Taier 部分元資料表結構資訊、完善表結構備注資訊,
· 優化控制臺組件配置引數資訊,移除環境相關引數資訊,Spark 組件支持自動上傳 SqlProxy 包,減少組件配置依賴,
接下來
Taier 1.4 版本的發布是又一個全新的開始,開發團隊不會停下腳步,未來將根據用戶反饋加速迭代持續優化,完善 Taier 的功能和檔案,滿足用戶更多場景的使用,推進國內開源生態的發展,
Taier 此前的成績離不開每一位參與者的貢獻與支持,踏上這個新的起點,Taier 的未來也仍需大家共同努力,讓 Taier 朝著好用又強大的 DAG 任務調度系統的目標繼續前進,
《資料治理行業實踐白皮書》下載地址:https://fs80.cn/380a4b
想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠云官網:https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/p/szbky
同時,歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」,交流最新開源技術資訊,qun號碼:30537511,專案地址:https://github.com/DTStack
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/550720.html
標籤:大數據
上一篇:day02-2-商鋪查詢快取
下一篇:返回列表
