Apache DolphinScheduler 誕生記

DolphinScheduler，簡稱”DS”, 中文名 “小海豚調度”（海豚聰明、人性化，又左右腦可互相換班，終生不用睡覺），希望 DolphinScheduler 就像它的名字一樣，成為一個“開箱即用”的靈活易用的調度系統，

1概述

DAG 全稱Directed Acyclic Graph，簡稱DAG，作業流中的Task任務以有向無環圖的形式組裝起來，從入度為零的節點進行拓撲遍歷，直到無后繼節點為止，

Apache DolphinScheduler（目前處在范訓階段）是一個分布式、去中心化、易擴展的可視化DAG作業流任務調度系統，其致力于解決資料處理流程中錯綜復雜的依賴關系，使調度系統在資料處理流程中開箱即用，

DolphinScheduler是2019年開源的一個調度系統，在去年美國時間2019年8月29號，分布式任務調度引擎DolphinScheduler（原EasyScheduler）正式通過頂級開源組織Apache基金會的投票決議，以全票通過的優秀表現正式成為了Apache范訓器專案！

2背景

在2017年，易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調度任務的大資料平臺時，受到ETL復雜的依賴關系、平臺易用性、可維護性及二次開發等方面掣肘，易觀的技術團隊渴望找到一個具有以下功能的資料調度工具：

易于使用，開發人員可以通過非常簡單的拖拽操作構建ETL程序，不僅對于ETL開發人員，無法撰寫代碼的人也可以使用此工具進行ETL操作，例如系統管理員和分析師；
解決“復雜任務依賴”問題，并且可以實時監視ETL運行狀態；
支持多租戶；
支持許多任務型別：Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure等；
支持HA和線性可擴展性，
易觀技術團隊意識到現有開源專案沒有能夠達到他們要求的，因此決定自行開發這個工具，他們在2017年底設計了DolphinScheduler的主要架構；2018年5月完成第一個內部使用版本，后來又迭代了幾個內部版本后，系統逐漸穩定下來，

3特點

DolphinScheduler提供了許多易于使用的功能，可加快資料ETL作業開發流程的效率，其主要特點如下：

通過拖拽以DAG 圖的方式將 Task 按照任務的依賴關系關聯起來，可實時可視化監控任務的運行狀態；
支持豐富的任務型別；
支持作業流定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節點恢復失敗、Kill 任務等操作；
支持作業流全域引數及節點自定義引數設定；
支持集群HA，通過 Zookeeper實作 Master 集群和 Worker 集群去中心化；
支持作業流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計；
支持補數，并行或串行回填資料，

4系統架構

DolphinScheduler 是從資料處理的痛點出發，其解決的問題以及優化的方向主要有以下 5 點：

可視化流程設計減輕了開發者配置作業流的復雜度，從繁瑣的基礎配置中解放出來，不用再靠編程來配置流程，提升開發效率；
擴展性強，在當下這樣一個業務變化快、技術迭代頻繁的現在，豐富的任務型別、跨語言和自定義插件機制良好的可擴展性，無疑使這款框架具備了更長的壽命和更廣泛的落地場景；
支持作業流定時調度、依賴調度、手動調度、手動暫停 / 停止 / 恢復，同時支持失敗重試 / 告警、從指定節點恢復失敗、Kill 任務等操作
支持集群 HA，通過 Zookeeper 實作 Master 集群和 Worker 集群的天然去中心化架構設計，使得系統的高可用性得到保證；
通過拖拽以 DAG 圖的方式將 Task 按照任務的依賴關系關聯起來，可實時可視化監控任務的運行狀態，完善的服務監控系統，方便運維人員快速進行問題定位，

目前，IBM、中國平安、美團、360、招商銀行、科大訊飛、聯通、多點、芒果tv、雪球等多家企業都已經將 Apache DolphinScheduler 應用到了實際場景中，

file
1.2.x 架構

5開源推進路線

萬丈高樓平地起，從專案啟動的那一刻，我們就確定了開源的目標，從那一刻，開源的種子就種在了每一位專案成員的心中，它是一個使命，
也是所有人的共識和承諾，

要采用模塊化的設計，這樣才能便于開源后的協同開發；
要選用開源的技術組件，這樣才能便于開源后讓更多的開發者參與進來；
大道至簡，一定要做到開箱即用，我們調度的名字就叫EasyScheduler，
...
就這樣，伴隨著每一位的手舞足蹈，熱情澎湃和唇槍舌劍，2017年12月在北京市朝陽區恒通商務園B12棟3層辦公室里，拉開了EasyScheduler的序幕，

使命必達、分秒必爭，每一位伙伴都自動自發、隨時待命，

2018年5月，EasyScheduler在易觀千帆成功上線使用，

2019年3月，開放給外部種子用戶使用，正式發布第一個開源版本1.0.0，

2019年5月，相繼推出了1.0.1、1.0.2和1.0.3版本，

file

開源的種子早已種下，只有破土而出，才能扎根于大地，
ASF作為全球最大的開源基金會，一直致力于開源軟體生態的營造，讓軟體技術能夠在全球共享，這是ASF無比耀眼的魅力所在，

我們要扎根ASF，我們要進入到全球最大的開源組織，讓我們的專案在全球共享，于是我們決定正式探索Apache開源范訓之路，

這是一個0到1的問題，這是一個需要拿到入場券資格的問題，那么如何才能夠進入Apache呢？
一個專案如果希望進入到Apache范訓器，至少需要1名Champion和2名mentor，所以我們的第一個難題就是如何找到champion和mentor.
ASF范訓器擁有導師200多位，然而活躍的中國導師不超過5位，ALC Beijing也沒有成立，我們只能四處詢問，八方求援，經歷了無數次的嘗試，甚至出現了一絲絲的動搖，
但是我們馬上就想到團隊每一個人的付出和努力、想到那些默默支持我們前行的用戶、想到一開始就種在我們心中的開源之夢，
我們堅信有信念就一定有遠方，有夢想就一定有希望，我們堅信彩虹一定會出現，最終我們幸運地迎來了我們的champion和mentor，

至今仍清晰記得初見吳晟老師的場景：吳晟老師用了將近一下午的時間給我們普及了Apache范訓器的一些標準和Apache Way，我們也從最開始的喜悅興奮變為了默默沉思，
第二個迎頭重擊就是Apache的license協議遵從，我們需要檢查所有的依賴是否符合license許可，否則就需要修改，于是又經過了幾個月的重構和升級，
這里還有一個小插曲，我們在申請進入Apache范訓器程序當中，發現Easy Scheduler不是全球唯一的名字，于是又進行了投票最終選中了
DolphinScheduler.

所幸我們一直堅定著信念，天道酬勤，當美國時間2019年8月29號DolphinScheduler全票通過正式成為Apache范訓器專案的時候，
每個人都洋溢著開心的笑容，但是我們又很快的冷靜下來，真正的Apache Way也許才剛剛開始，

第一次的Apache release，是范訓程序中很重要的一個里程碑，DS用了4個月的時間發出了第一個Apache release，一個很大的原因
就是起初代碼層面上關注較多，而Apache對于license和商標有著近乎嚴苛的要求，在release的時候會進行非常仔細地檢查，
字體的著作權或者某個前端組件使用的license不合規范都會結束一周左右的發版流程，

經歷過第一次Apache release發版后，會對Apache Community Over Code的名言有著更切身的體會，成功的開源專案最重要的因素就是：
社區、社區還是社區，時間仿佛回到了吳晟老師給我們首次講述Apache Way的那個下午：
“Apache 是一個透明、開放的社區，需要讓作業的人來決定；如果一件事情沒有出現在郵件串列中，那它就沒有發生；
Apache 社區是一個公開、平等、精英治理的社區；Apache更多的是給一個思路，很多時候沒有一個固定的規則和流程，，，”

感謝吳晟老師、史少峰老師、陳亮老師、Furkan Kamaci老師和Kevin Ratnasekera老師，
感謝每一位使用過DS的用戶、每一位參與過DS社區貢獻的伙伴，感謝你們愿意犧牲自己寶貴的時間與我們一同前行，一個star，一個issue，
一篇文章、一行代碼、一封郵件串列，參加一場meetup的舉辦，這都是我們一起同在的見證！也期待更多的伙伴加入到DS社區，
我們一起披荊斬棘、一起高歌猛進！一起經歷風雨、一起見證勝利！

歡迎加入Apache dolphinscheduler 社區

https://github.com/apache/incubator-dolphinscheduler (請記得fork和star)

訂閱郵件串列

用自己的郵箱向[email protected]發送一封郵件，主題和內容任意，
接收確認郵件并回復，完成步驟1后，將收到一封來自[email protected]的確認郵件（如未收到，請確認郵件是否被自動歸入垃圾郵件、推廣郵件、訂閱郵件等檔案夾），然后直接回復該郵件，或點擊郵件里的鏈接快捷回復即可，主題和內容任意，
接識訓迎郵件，完成以上步驟后，會收到一封主題為WELCOME to [email protected]的歡迎郵件，至此已成功訂閱Apache DolphinScheduler（Incubating）的郵件串列，

在線試用

如果您不想部署，而是想先體驗一下，那么我們也提供了在線 Demo (1.2.0 版本)，Demo可以快速體驗一下 Shell、Python等任務型別，受制于服務器單機硬體條件，有些功能比如不能定時調度，各種資料源不能體驗外，無其他限制，大家可以聯系龍飛微信開通 Demo

file

我們鼓勵任何形式的參與社區，最終成為 Committer 或 PPMC，如：

將遇到的問題通過 github 上 issue 的形式反饋出來
回答別人遇到的 issue 問題
幫助完善檔案
幫助專案增加測驗用例
為代碼添加注釋
提交修復 Bug 或者 Feature 的 PR
發表應用案例實踐、調度流程分析或者與調度相關的技術文章
幫助推廣 DolphinScheduler，參與技術大會或者 meetup 的分享等

歡迎加入貢獻的隊伍，加入開源從提交第一個 PR 開始

比如添加代碼注釋或找到帶有 ”easy to fix” 標記或一些非常簡單的 issue(拼寫錯誤等) 等等，先通過第一個簡單的 PR 熟悉提交流程

注：貢獻不僅僅限于 PR 哈，對促進專案發展的都是貢獻

相信參與 DolphinScheduler，一定會讓您從開源中受益！

如何成為 ALC Beijing的成員

ALC Beijing 歡迎任何人的參與！不設定任何門檻，只要有意愿傳播 Apache 以及開源之道的小伙伴都可以參與進來！具體的方式如下：

加入我們的活動，大家可以通過關注ALC Beijing公眾號獲取最新的活動資訊，并參加我們的線上或者線下的活動，
成為ALC Beijing會員，ALC Beijing作為一個公益組織，需要大量的志愿者的來幫助協調和組織活動，志愿者成為會員的原則和Apache軟體基金的其他專案發展Committer以及PMC成員的方式一樣, 基于志愿者在社區中的貢獻，采用投票邀請方式成為ALC Beijing 會員，
歡迎關注"ALC Beijing"公眾號

參考鏈接

[1] https://dolphinscheduler.apache.org/zh-cn/index.html

[2] https://www.infoq.cn/article/SeODu1bwlyjCUR70t6KD

感謝花時間閱讀，謝謝！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/110712.html

標籤：Java

上一篇：CI/CD 和 DevOps 思想

下一篇：【JAVA SE基礎篇】68.動態編譯，腳本引擎，位元組碼操作