一、Yarn 產生的背景
Hadoop2 之前是由 HDFS 和 MR 組成的，HDFS 負責存盤，MR 負責計算，
一）MRv1 的問題
- 耦合度高：MR 中的 jobTracker 同時負責資源管理和作業控制兩個功能，互相制約，
- 可靠性差：管理節點是單機的，有單點故障的問題，
- 資源利用率低：基于 slot 的資源分配模型，機器會將資源劃分成若干相同大小的 slot，并劃定哪些是 map slot、哪些是 reduce slot，
- 無法支持多種計算框架：限定了只能用于 MapReduce 程式，
二）Yarn 的誕生
由于之前 Hadoop 資源調度的種種問題，新的資源調度框架產生了 —— YARN（Yet Another Resource Negotiator），
它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和資料共享等方面帶來了巨大好處，
二、Yarn 的基本架構
一）Yarn 三大組件
- ResourceManager
- Nodemanager
- ApplicationMaster
Yarn依然是Master/Slave的結構：
- 在資源架構層面：RM 是 master、NM 是 slave
- 在應用運行期間：AM 是 master、container 是 slave
1、ResourceManager
ResourceManager 主要由兩個組件構成：
調度器( Scheduler）和應用程式管理器（Applications Manager，ASM)，
- 調度器（Scheduler）：
- 根據容量、佇列等限制條件（如每個佇列分配一定的資源，最多執行一定數量的作業等），將系統中的資源分配給各個正在運行的應用程式，
- 應用程式管理器（Applications Manager）：
- 負責管理整個系統中所有應用程式，包括應用程式提交、與調度器協商資源以啟動 ApplicationMaster、監控 ApplicationMaster 運行狀態并在失敗時重新啟動等，
2、NodeManager
NodeManager 是每個節點上的資源和任務管理器，
- 定時地向 RM 匯報本節點上的資源使用情況和各個 Container 的運行狀態；
- 接收并處理來自 AM 的 Container啟動/停止等各種請求，
3、ApplicationMaster
ApplicationMaster 是一個任務最先啟動的容器，用于管理當前任務的調度，
- 與 RM 調度器協商以獲取資源（用 Container 表示）；
- 將得到的任務進一步分配給內部的任務；
- 與NM 通信以啟動 / 停止任務；
- 監控所有任務運行狀態，并在任務運行失敗時重新為任務申請資源以重啟任務，
4、Container
不屬于 Yarn 三大組件，但是 yarn 中資源的抽象，
- 封裝 NM 上的資源（hadoop2 僅支持 cpu 和記憶體，hadoop3 擴展網路、硬碟、GPU 等資源）；
- 不同于靜態的 slot，container 可以根據需要動態劃分，
二）Yarn 通信協議
通信協議共有 5 種如下圖所示：
- 分布式環境下，需要涉及跨機器跨網路通信，YARN底層使用RPC協議實作通信，
- RPC是遠程程序呼叫（Remote Procedure Call）的縮寫形式，基于RPC進行遠程呼叫就像本地呼叫一樣，
- 在RPC協議中，通信雙方有一端是Client，另一端為Server，且Client總是主動連接 Server 的，因此，YARN實際 上采用的是拉式（pull-based） 通信模型，
三、Yarn 作業流程
- client 向 YARN 中提交應用程式，其中包括 AM 程式、啟動 AM 的命令、用戶程式等，
- RM 為該應用程式分配第一個 Container，并與對應的 NM 通信，要求它在這個 Container中啟動應用程式的 AM，
- AM 首先向 RM 注冊，這樣用戶可以直接通過 RM 查看應用程式的運行狀態，然后它將為各個任務申請資源，并監控它的運行狀態，直到運行結束，即重復步驟4~7，
- AM 通過 RPC 協議向 RM 申請和領取資源，
- —旦 AM 申請到資源后，便與對應的 NM 通信，要求它啟動任務，
- NM 為任務設定好運行環境（包括環境變數、JAR 包、二進制程式等）后，將任務啟動命令寫到 一個腳本中，并通過運行該腳本啟動任務，
- 各個任務通過 RPC 協議向 AM 匯報自己的狀態和進度，以讓 AM 隨時掌握各個任務的運行狀態，從而可以在任務失政時重新啟動任務，在應用程式運行程序中，用戶可隨時通過 RPC 向 AM 查詢應用程式的當前運行狀態，
- 應用程式運行完成后，AM 向 RM 注銷并關閉自己，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/526921.html
標籤：其他