大資料原理與技術（七）：資源管理系統YARN

Hadoop使用Apache Hadoop YARN（Yet Another Resource Negotiator）作為通用資源管理系統，可為上層應用提供統一的資源管理和調度，除了MapReduce，YARN還可以支持其他編程計算框架，如Spark、Storm等，它的引入為集群在利用率、資源統一管理和資料共享等方面帶來了諸多好處，

一、YARN的概述與應用

1.YARN的定義

Apache Hadoop YARN（Yet Another Resource Negotiator，另一種資源協調器）是一種新的Hadoop資源管理器，它可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和資料共享等方面帶來了諸多好處，

2.YARN的特點

使用YARN作為資源管理調度系統具有以下優點：

• 資源利用率高，在使用YARN作為資源管理系統之前，往往是一個集群運行一種計算框架，一個企業可能存在多個集群，各集群之間的負載很不平均，繁忙集群的負載無法分發到空閑的集群上，導致了計算資源的浪費，YARN實作“一個集群多個框架”，可以統一調度群內的計算資源，這就大大提高了資源利用率，
• 運維成本低，管理員僅需要管理一個集群，大大降低了運維成本，
• 資料共享方便，不同的計算框架有時候肯需要處理同樣的資料，存在不同集群時，要實作資料共享比較麻煩，也會造成及集群間大量的資料傳輸開銷，使用YARN做資源管理，可以在同個集群內部署不同的計算框架，實作了不同的計算框架的資料共享，

3.YARN的應用場景

在企業實際的生產環境中，同時存在不同的業務應用場景，對于計算的要求各有不同，常常需要應用多個計算框架來滿足企業的需求，如用MapReduce做大規模資料的批處理離線計算，用Storm實作流資料的實時分析，由于Hadoop1.0時沒有統一的資源管理平臺，為了避免不同型別應用之間發生資源搶占沖突，往往需要在企業內部建立多個集群，在不同集群內運行不同的計算框架，不同集群之間無法直接共享資料，資源利用率低，多個集群大大增加了管理人員的運維作業，
針對Hadoop1.0本身的局限性及企業內計算資源統一管理的需求，Hadoop2.0對自身架構做了改良，Hadoop2.0推出來資源管理調度系統YARN（Yet Another Resource Negotiator，另一種資源協調器），YARN可以支持MapReduce以及Spark、storm等計算框架，實作了“一個集群多個框架”，

二、YARN架構設計思路

1.MapReduce的設計缺陷

MapReduce1.0采用Master/Slave架構設計，包括一個JobTracker和若干個Task Tracker，前者負責和作業的調度和資源的管理，后者負責執行JobTracker指派的具體任務，這種設計具有一些很難克服的缺陷，具體如下

• 存在單點故障，由JobTracker負責所有MapReduce作業的調度，而系統中只有一個JobTracker，因此會存在單點故障問題，
• JobTracker“大包大攬”導致任務過重，JobTracker既要負責作業的調度和失敗恢復，又要負責資源管理分配，
• 容易出現記憶體溢位，在TaskTracker端，資源的分配并不考慮CPU、記憶體的實際使用情況，而只是根據MapReduce任務的個數來分配資源，當兩個具有較大記憶體消耗的任務被分配到同一個TaskTRacker上時，很容易發生記憶體溢位的情況，
• 資源劃分不合理，資源被強制等量劃分成多個”槽“，槽又被進一步劃分為Map槽和Reduce槽，分別供Map任務和Reduce任務使用，彼此之間不能使用分配給對方的槽，意味著，當系統中只存在單一的Map任務或Reduce任務時，會造成資源的浪費，

2.YARN設計思路

為了克服MapReduce1.0版本額的缺陷，Hadoop2.0以后的版本對其子專案MapReduce1.0的體系結構進行了重新設計，生成了MapReduce2.0和YARN（Yet Another Resource Negotiator），YARN架構設計基本思路就是“放權”，即不讓JobTRacker這一個組件承擔過多的功能，把原JobTracker三大功能（資源管理、任務調度、任務監控）進行拆分，分別交給不同的新組件去處理，重新設計后得到的YARN包括ResourceManager、ApplicationMaster和NodeManager，其中，由ResourceManager負責資源管理，由ApplicationMaster負責任務調度和監控，由NodeManager負責執行原TaskTracker的任務，

三、YARN技術原理

1.YARN的體系結構

YARN體系結構中包含了三個組件：ResourceManager、ApplicationMaster和NodeManager，

• ResourceManager（RM)是一個全域的資源管理器，負責整個系統的資源管理和分配，主要包括兩個組件，即調度器（Scheduler）和應用程式管理器（Applications Manager），調度器主要負責資源管理和分配，不再負責跟蹤和監控應用程式的執行狀態，也不負責執行失敗恢復，因為這鞋任務都已經交給AppLicationMaster組件來負責，調度器接收來自ApplicationMaster的應用程式資源請求，把集群中的資源以“容器”的形式分配給提出申請的應用程式，容器的選擇通常會考慮應用程式所要處理的資料的位置，進行就近選擇，從而實作“計算向資料靠攏”，在YARN中以容器（Container）作為動態資源分配單位，每個容器中都封裝了一定數量的CPU、記憶體、磁盤等資源，從而限定每個應用程式可以使用的資源量，同時，調度器被設計成是一個可插拔的組件，YARN不僅自身提供了許多種直接可用的調度器，也允許用戶根據自己的需求重新設計調度器，應用程式管理器（Applications Manager）負責系統中所有應用程式的管理作業，主要包括應用程式提交、與調度器協商資源以啟動ApplicationMaster、監控ApplicationMaster運行狀態并在失敗時重新啟動等，
• ResourceManager接收用戶提交的作業，按照作業的背景關系資訊以及從NodeManager收集來的容器狀態資訊，啟動調度程序，為用戶作業啟動一個ApplicationMaster，ApplicationMaster的主要功能是：
  （1）當用戶作業提交時，ApplicationMaster與ResourceManager協商獲取資源，ResourceManager會以容器的形式為ApplicationMaster分配資源；
  （2）把獲得的資源進一步分配給內部的各個任務（Map任務或Reduce任務），實作資源的“二次分配”；
  （3）與NodeManager保持互動通信進行應用程式的啟動、運行、監控和停止，監控申請到的資源的使用情況，對所有任務的執行進度和狀態進行監控，并在任務發生失敗時執行失敗恢復（即重新申請資源重啟任務）；
  （4）定時向ResourceManager發送“心跳”訊息，報告資源的使用情況和應用的進度資訊；
  （5）當作業完成時，ApplicationMaster向ResourceManager注銷容器，執行周期完成，
• NodeManager是駐留在一個YARN集群中的每個節點上的代理，主要負責：容器生命周期管理，監控每個容器的資源（CPU、記憶體等）使用情況，跟蹤節點健康狀況，以“心跳”的方式與ResourceManager保持通信，向ResourceManager匯報作業的資源使用情況和每個容器的運行狀態和接收來自ApplicationMaster的啟動/停止容器的各種請求，需要說明的是，NodeManager主要負責管理抽象的容器，只處理與容器相關的事情，而不具體負責每個任務（Map任務或Reduce任務）自身狀態的管理，因為這些管理作業是由ApplicationMaster完成的，ApplicationMaster會通過不斷與NodeManager通信來掌握各個任務的執行狀態

2.YRAN的作業流程

在YARN框架中執行一個MapReduce程式時，從提交到完成需要經歷如下8個步驟，

（1）用戶撰寫客戶端應用程式，向YARN提交應用程式，提交的內容包括ApplicationMaster程式、啟動ApplicationMaster的命令、用戶程式等
（2）YARN中的ResourceManager負責接收和處理來自客戶端的請求，為應用程式分配一個容器，在該容器中啟動一個ApplicationMaster
（3）ApplicationMaster被創建后會首先向ResourceManager注冊
（4）ApplicationMaster采用輪詢的方式向ResourceManager申請資源
（5）ResourceManager以“容器”的形式向提出申請的ApplicationMaster分配資源
（6）當ApplicationMaster要求容器啟動任務時，它會為任務設定好運行環境（包括環境變數、JAR包、二進制程式等），然后將任務啟動命令寫到一個腳本中，最后通過在容器中運行該腳本來啟動任務
（7）各個任務向ApplicationMaster匯報自己的狀態和進度，讓ApplicationMaster可以隨時掌握各個任務的運行狀態，從而可以在任務失敗時重新啟動任務
（8）應用程式運行完成后，ApplicationMaster向ResourceManager的應用程式管理器注銷并關閉自己

3.YARN的發展目標

YARN的目標就是實作“一個集群多個框架”，即在一個集群上部署一個統一的資源調度管理框架YARN，在YARN之上可以部署其他各種計算框架，由YARN為這些計算框架提供統一的資源調度管理服務，并且能夠根據各種計算框架的負載需求，調整各自占用的資源，實作集群資源共享和資源彈性收縮，通過這種方式，可以實作一個集群上的不同應用負載混搭，有效提高了集群的利用率，不同計算框架可以共享底層存盤，避免了資料集跨集群移動，

總結

本節介紹了YARN的設計思路、體系結構和作業流程，本篇文章借鑒了下面兩本大資料書籍，在此鄭重感謝，

《大資料技術原理與應用（第2版）》 林子雨編著
《大資料原理與技術》 黃史浩編著