調度框架:共享狀態調度
什么是共享狀態調度?
共享狀態調度是為了解決單體調度和兩層調度遇到的問題而創建出來的新的調度框架,它通過將單體調度器分解為多個調度器,每個調度器都有全域的資源狀態資訊,從而實作最優的任務調度,提供了更好的可擴展性,
共享裝填調度將集群狀態之外的功能抽象出來,形成獨立的服務,包括:
- State Storage模塊:負責存盤和維護資源及任務狀態,一遍Scheduler查詢資源狀態和調度任務,
- Resource Pool模塊:多個節點集群,接收并執行Scheduler調度的任務,
- Scheduler模塊:只包含任務調度操作,
共享狀態調度框架如下圖所示,

共享狀態調度和兩層調度相比的不同點:
- 存在多個調度器,每個調度器都可以擁有集群全域的資源狀態資訊,可以根據該資訊進行任務調度,
- 樂觀并發調度,執行了任務匹配演算法后,調度器將其調度結果提交給State Storage,由其決定是否進行本次調度,從而解決競爭同一種資源而引起的沖突問題,實作全域最優調度,兩層調度是悲觀并發調度,
樂觀并發調度和悲觀并發調度的區別:
- 樂觀并發調度:強調事后檢測,在事務提交時檢查是否避免了沖突,若避免,則提交,否則回滾并自動重新執行,
- 悲觀并發調度:強調事前預防,在事務執行時檢查是否會存在沖突,不存在,則繼續執行,否則等待或者回滾,
有哪些系統采用了共享狀態調度機制?
常用的有以下幾種:
- Google Omega
- Apollo
- Nomad
Omega調度
Omega使用事務管理狀態的設計思想,將集群中資源的使用和任務的調度類似基于資料庫的一條條事務去管理,
Omega的調度流程如下圖所示,

調度器對Job的調度是具有原子性的,一個Job中所有的Task都是一起調度的,即使部分Task調度失敗了,調度器再次調度時必須調整整個Job,
Omega調度器將兩層調度器中的集中式資源調度模塊簡化成一些持久化的共享資料和針對這些資料的驗證代碼,
三種調度機制有什么區別?
單體調度是由一個中央調度器去管理整個集群的資源資訊和任務調度,它的優點是可以實作全域最優調度,缺點是調度沒有并發性,且中央服務器有單點瓶頸問題,它適用于小規模集群,
兩層調度是將資源管理和任務調度分為兩層來調度,第一層調度器負責集群資源管理,并將可用資源發送給第二層調度,第二層調度收到第一層調度發送的資源,進行任務調度,它的優點是避免了單體調度的單點瓶頸問題,可以支持更大的服務規模和更多的服務型別,它適用于中等規模集群,
共享狀態調度包含多個調度器,每個調度器都可以看到集群的全域資源資訊,它的優點是每個調度器都可以獲取集群中的全域資源資訊,因此任務匹配演算法也可以實作全域最優解,
下面是關于單體調度、兩層調度和共享狀態調度的詳細比較,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/543966.html
標籤:Java
上一篇:什么是push通知欄訊息?
下一篇:day10-1-中文亂碼處理
