調度框架：單體調度
什么是調度？
分布式系統架構的目的是將多個服務器資源管理起來，對外提供服務，調度是指為用戶任務尋找合適的服務器的程序，它是分布式系統中一個非常重要的組件，提供了多種調度策略，負責完成具體的調度作業，
什么是單體調度？
分布式系統中的單體調度是指一個集群中只有一個節點在運行調度行程，該節點對集群中的其他節點具有訪問權限，可以對其他節點的資源資訊、節點狀態進行統一管理，同時根據用戶下發的任務對資源的需求，在調度器中進行任務和資源匹配，然后根據匹配結果將任務指派給合適的節點，
單體調度器具有全域資源視圖和全域任務，可以實作對任務的約束并實施全域性的調度策略，
在單體調度框架中，多個Node節點會將本節點的State上報給Master節點，Master節點將Node State資訊記錄在Cluster State模塊中，Cluster State模塊用于管理集群中節點的資源等狀態，Master節點中的Scheduling Logic模塊用于進行Tasks與節點資源的匹配，當Master需要下發任務時，Cluster State模塊會將節點的資源狀態傳送給Scheduling Logic模塊，以便Scheduling Logic模塊進行Tasks與資源匹配，并根據匹配結果將Task發送給匹配到的節點，
具體結構和流程如下圖，
單體調度的特征：
- 單體調度器可以很容易實作對作業的約束并實作全域性的調度策略，因此適合作為批處理任務和吞吐量較大、運行時間較長的任務，
- 單體調度系統的狀態同步比較容易且穩定，
- 調度演算法只能全部內置到核心調度器當中，因此調度框架的靈活性和可擴展性不高，
- 單體調度存在單點故障發生的可能性，
Borg調度設計
Borg是典型的集中式集群管理系統，Scheduler是它的核心組件，
Borg系統中包括作業（Job）和任務（Task）：
- 作業：它通常包括作業名稱、作業生產者和作業包含的任務數量，它可以有一些約束來限制作業中的任務運行在指定的機器上，這些約束可以是剛性的，也可以是柔性的，一個作業只能在一個集群中運行，
- 任務：一組Linux行程，運行在一臺機器上的一個容器內或者直接運行在節點上，
一個作業可以包含多個任務，作業類似于用戶在一次事務處理或計算程序中要求計算機所做作業的總和，而任務就是一項具體的作業，
多個任務可以在多臺機器上同時運行，從而提高系統的并行程度，調度器會來負責將任務分配給合適的機器，
Borg中的調度是以任務為單位的，不是以作業為單位，
Borg調度演算法的核心思想是“篩選可行，評分取優”，它分為兩個階段：
- 可行性檢查：找到一組可以運行任務的機器，
- 評分：從可行的機器中選擇一個合適的機器，
兩種不同的匹配演算法：
- 最差匹配演算法：將任務盡量分散到不同的機器上，以并行的方式提高任務執行的速度，它的問題在于每個機器都會有少量無法使用的剩余資源，稱為”碎片資源“，
- 最佳匹配演算法：把同一個機器上的任務塞得越滿越好，這樣可以空出一些空閑的機器，用于部署計算資源需求大的任務，它類似于”把所有雞蛋放到一個籃子里“，當對應的服務器發生故障后，運行在這臺服務器上的任務會受影響，它不利于有突發負載的應用，
一般來說，對于資源緊缺，且業務流量比較規律，基本不會出現突發情況的場景，可以選擇最佳匹配演算法， 如果資源比較豐富，且業務流量會經常出現突發情況的場景，可以選擇最差匹配演算法，
Borg的任務部署機制支持優先級高的任務搶占優先級低的任務資源，如果評分演算法選中的機器上沒有足夠的資源來運行新任務，Borg會搶占該機器上已部署的低優先級任務的資源，從最低優先級的任務開始，逐級向上搶占任務資源，直到可用資源足夠運行新任務，其中，被強占的任務會放回到調度器的等待佇列中，
作者：李潘 出處：http://wing011203.cnblogs.com/ 本文著作權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利，轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/543743.html
標籤：其他