前言

單體調度的核心是，所有節點的資源以及用戶的任務均由中央服務器統一管理和調度，因此，中央服務器很容易成為單點瓶頸，會直接導致其支持的調度規模和服務型別受限，

于是兩層調度就出現了

什么是兩層調度？

在單體調度架構中，中央服務器的單點瓶頸問題，會限制調度的效率和支持的任務型別，中央服務器的性能會限制調度的效率很好理解，但為什么會限制支持的任務型別呢？

這是因為不同的服務具有不同的特征，對調度框架和計算的要求都不一樣，比如，業務最開始時只有批處理任務，后來發展到同時還包括流資料任務，但批處理任務是處理靜態資料，流資料任務卻是處理實時資料，顯然，單體調度框架會隨著任務型別增加而變得越來越復雜，最終出現擴展瓶頸，

為了提升調度效率并支持多種型別的任務，把資源和任務分開調度，一層調度器只負責資源管理和分配，另外一層調度器負責任務與資源的匹配，這種調度架構就是兩層調度，

兩層調度結構對應的就是兩層調度器，資源的使用狀態同時由中央調度器和第二層調度器管理，中央調度器從整體上進行資源的管理與分配，將資源分配到第二層調度器；再由第二層調度器負責將資源與具體的任務配對，因此第二層調度可以有多個調度器，以支持不同的任務型別，

如下圖所示，Scheduler-1 表示第一層調度，負責收集和管理集群中的資源資訊；Scheduler-2 表示第二層調度，Scheduler-1 會將集群資源發送給 Scheduler-2，然后 Scheduler-2 根據任務的資源需求和 Scheduler-1 發送的資源資訊進行任務匹配和調度，

兩層調度器中的第一層調度器仍是一個經簡化的中央調度器，通常放在分布式集群管理系統中，而第二層調度則是由各個應用程式框架完成，

兩層調度器的職責分別是：

• 第一層調度器負責管理資源并向框架分配資源，
• 第二層調度器接收分布式集群管理系統中第一層調度器分配的資源，然后根據任務和接收到的資源進行匹配，

采用兩層調度結構的集群管理系統有很多，典型代表是 Apache Mesos 和 Hadoop YARN，

兩層調度設計

由于 Mesos 只負責底層資源的管理和分配，并不涉及存盤、 任務調度等功能，因此 Mesos 要實作類似 Borg 那樣的資源與任務管理，還需要上層框架的配合，

具體到兩層調度架構上，Mesos 本身實作的調度器為第一層調度，負責資源管理，然后將第二層任務調度交給了框架完成，

兩層調度架構

以 Mesos 為基礎的分布式資源管理與調度框架包括Mesos 資源管理集群和框架兩部分：

• 資源管理集群是由一個 Master 節點和多個 Slave 節點組成的集中式系統，每個集群有且僅有一個 Master 節點，負責管理 Slave 節點，并對接上層框架；Slave 節點向 Master 節點周期匯報資源狀態資訊，并執行框架提交的任務，
• 框架（Framework）運行在 Mesos 上，是負責應用管理與調度的“組件”，比如 Hadoop、Spark、MPI 和 Marathon 等，不同的框架用于完成不同的任務，比如批處理任務、實時分析任務等，框架主要由調度器（Scheduler）和執行器（Executor）組成，調度器可以從 Master 節點獲取集群節點的資訊 ，執行器在 Slave 節點上執行任務，

Mesos 是一個典型的雙層調度框架，Mesos Master 上有一個調度器（也就是 Allocation Module），負責管理并分配集群中的所有資源，是第一層調度，框架上負責任務的管理與調度的調度器，是第二層調度，如下圖所示，

Mesos 兩層調度的基本原理：

• 框架向 Mesos Master 注冊；
• Mesos Slave 節點定期或周期向 Mesos Master 上報本節點的空閑資源；
• Mesos Master 的 Scheduler 行程收集所有節點的空閑資源資訊，并以 Resource Offer 的方式將空閑資源發送給注冊的框架；
• 框架的 Scheduler 接收到 Mesos 發送的資源后，進行任務調度與匹配，匹配成功后，將匹配結果下發給 Mesos Master，并由 Mesos Master 轉發給相應節點的執行器執行任務，

Mesos 實作雙層調度時，采用 Resource Offer 機制銜接了第一層和第二層調度，Resource Offer 機制指的是 Mesos Master 主動將節點空閑資源，以類似發放（Offer）的方式發給每個框架，如果框架需要則使用，不需要則還回，

通過 Resource Offer 機制，第一層調度將資源主動告知第二層調度，然后第二層調度進行具體的任務匹配，從而實作了任務調度與資源管理的分離，Mesos Master 通過資源分配演算法決定給各個 Framework 提供多少資源，而 Framework 則決定接受哪些資源，以及哪些任務使用這些資源運行，這樣一來，一個兩層調度架構就實作了，

資源分配演算法

Mesos 的資源分配演算法解決的問題是，決策需要將當前可用資源分配給哪些框架以及分配多少，兩種主要的資源分配演算法：

• 最大最小公平演算法（Max-min Fairness，MMF）
• 主導資源公平演算法（Dominant Resource Fairness，DRF），

最大最小公平演算法

最大最小公平演算法是在兼顧公平的前提下，盡可能讓更多人滿意的資源分配演算法，有 3 個主要原則：

• 按照用戶對資源需求量遞增的順序進行空閑資源分配；
• 不存在用戶得到的資源超過自己需求的情況；
• 對于分配的資源不滿足需求的用戶，所獲得的資源是相等的，

在執行資源分配時，最大最小公平演算法按照上述 3 條原則進行多次迭代，每次迭代中資源均平均分配，如果還有剩余資源，就進入下一次迭代，一直到所有用戶資源得到滿足或集群資源分配完畢，迭代結束，

假設，現在有總量為 100 的空閑資源，有 4 個用戶 A、B、C、D 對該資源的需求量分別為（35，10，25，45），分配流程如下所示：

1. 按照用戶對資源的需求量升序排列，則 4 個用戶的需求量為（B:10，C:25，A:35，D:45），
2. 平均分配空閑資源，資源空閑總量 100，除以用戶數 4，則平均空閑資源量為 25；按照第一步中需求量分配后，用戶資源需求量為（0，0，10，20），且用戶 B 由于資源需求量小于 25，因此會剩余資源，此時空閑資源量為 15，資源需求人數為 2，
3. 重復第二步，平均分配資源，15/2=7.5，即分別為用戶 A 和 D 分配 7.5 份資源，此時用戶資源需求量為（0，0，2.5，12.5），空閑資源量為 0，資源需求人數為 2，
4. 所有資源已分配完，演算法終止，

最大最小公平演算法的執行流程，如下圖所示，

在這個案例中，最大最小公平演算法是由于所有資源全部分配完才終止的，至此，對于需求量為（10，25，35，45）的用戶們來說，分配到的資源是（10，25，32.5，32.5），這個演算法的另外一個結束條件是，資源分配滿足了所有用戶的資源需求，即當沒有用戶有資源需求時，演算法也會終止，

主導資源公平演算法，

最大最小公平演算法采用了絕對公平的方式分配資源，會導致大量的資源浪費，比如用戶需求量為 35 和 45 的用戶 A 和用戶 D，均分配了 32.5 的空閑資源，但由于資源不滿足需求，這兩個用戶均無法使用，

而主導資源公平演算法在考慮用戶公平性的前提下，還考慮了用戶對不同資源型別的需求，以盡可能地合理分配資源，同樣的資源量，主導資源公平演算法可以盡可能地滿足更多的用戶，

在 Mesos 中，框架對資源的需求包括對 CPU、記憶體等多種型別資源的需求，針對多種資源的需求，主導資源公平演算法首先計算已經分配給用戶的每一種資源的占用率（Resource Share），比如已經分配的 CPU 占總資源量的多少，已經分配的記憶體占總資源量的多少，所有資源占用率中的最大值稱作該用戶的主導資源占用率，而主導資源占用率對應的資源就是用戶的主導資源，

假設系統中的資源共包括 18 個 CPU 和 36 GB 記憶體，有兩個 Framework（Framework A 和 Framework B）分別運行了兩種任務，假設 Framework A 運行記憶體密集型任務，Framework B 運行 CPU 密集型任務，且每個任務所需要的資源量是一致的，分別是 <2 CPU, 8 GB> 和 <6 CPU, 2 GB>，

第一步：計算資源分配量，

假設 x 和 y 分別是 Framework A 和 Framework B 分配的任務數，那么 Framework A 消耗的資源為{2x CPU，8x GB}，Framework B 消耗的資源數為{6y CPU，2y GB}，分配給兩個 Framework 的總資源量為（2x+6y）個 CPU 和（8x+2y）GB 記憶體，

第二步：確定主導資源，

對于 Framework A 來說，每個任務要消耗總 CPU 資源的 2/18，總記憶體資源的 8/36，所以 Framework A 的主導資源為記憶體；對于 Framework B 來說，每個任務要消耗總 CPU 資源的 6/18 和總記憶體資源的 2/36，因而 Framework B 的主導資源為 CPU，

第三步：DRF 演算法的核心是平衡所有用戶的主導資源占用率，盡可能試圖最大化所有用戶中最小的主導資源占用率，通過求解下列公式，可以計算出 Framework A 和 Framework B 分配的任務數，并且要在滿足公式的條件下，使得 x 和 y 越大越好，

2x+6y≤18
8x+2y≤36
8x/36=6y/18

通過求解可以得出：x=3，即 Framework A 可以運行 3 個任務；y=2，即 Framework B 可以運行 2 個任務，這樣分配的話，每個 Framework 獲取了相同比例的主導資源，即：A 獲取了 2/3 的記憶體，B 獲取了 2/3 的 CPU，從而在主導資源上體現了調度演算法的公平性，

在實際任務分配程序中，主導資源率是根據已經分配給 Framework 的資源，占集群中總資源量的多少進行計算的，并且在每次分配程序中，會選擇主導資源最小的 Framework 進行分配，也就是試圖最大化所有用戶中最小的主導資源占用率，

對比這兩種調度演算法

最大最小公平演算法適用于單一型別的資源分配場景，而主導資源公平演算法適用于多種型別資源混合的場景，并且，最大最小公平演算法從公平的角度出發，為每個用戶分配不多于需求量的資源；而主導資源公平演算法從任務出發，目的在于盡量充分利用資源使得能夠執行的任務越多越好，

知識擴展：兩層調度如何保證不同的業務不會互相干擾？

當多個業務運行在同一臺機器上，共同使用 CPU、記憶體，以及系統環境時會存在相互干擾，

隔離不同的業務資源和環境，就不會相互干擾了，就好比接觸的虛擬機一樣，在同樣的服務器上安裝多個虛擬機，不同的用戶在不同的虛擬機上運行，這些用戶互不干擾，在 Mesos 中，實作這種資源隔離的是容器，

容器的實質是行程，該行程運行于屬于自己的獨立的命名空間，可以擁有自己的 root 檔案系統、自己的網路配置、自己的行程空間，甚至是自己的用戶 ID 空間，Mesos 支持的容器，包括 Linux 自帶的 cgroups 和 Docker，

所以說，Mesos 正是用容器隔離開了不同的業務，使得它們運行時不會互相干擾，

總結

兩層調度是一種資源和任務分開調度的設計，一層調度器只負責資源的管理和分配，另外一層調度器負責任務與資源的匹配，

在 Mesos 中，第一層資源調度由 Mesos 提供，第二層任務調度由框架提供，Mesos 將資源以 Resource Offer 的形式發放給框架調度器，框架調度器根據任務需求和得到的資源資訊進行任務匹配調度，為此提高了調度的并發性，

第一層的調度演算法，通常有最大最小公平演算法和主導資源公平演算法等，

兩層調度的一個問題是，由于第二層調度只能獲得部分資源視圖，因此無法實作全域最優調度，

兩層調度提供了多租戶多框架的支持，如果業務型別比較多或者面向的是不同的租戶的話，建議采用兩層調度框架，