【深入淺出 Yarn 架構與實作】6-2 NodeManager 狀態機管理

一、簡介

NodeManager（NM）中的狀態機分為三類：Application、Container 和 LocalizedResource，它們均直接或者間接參與維護一個應用程式的生命周期，

• 當 NM 收到某個 Application 的第一個 container 啟動命令時，它會創建一個「Application狀態機」來跟蹤該應用程式在該節點的狀態；
• 每個container都有一個獨立的「container狀態機」；
• Application 運行所需資源（jar，檔案等）的下載程序則由「LocalizedResource狀態機」維護和跟蹤，

二、三類狀態機

一）Application 狀態機

NM 上的 Application 維護的資訊是 RM 端 Application 資訊的一個子集，這有助于統一管理節點上同一個 Application 的所有 Container（例如記錄每個 Application 在該節點上運行的 Container 串列，以及殺死一個 Application 的所有 Container 等），
實作這一功能的類是 nodemanager/containermanager/application/ApplicationImpl，它維護了一個 Application 狀態機，需要注意的是，NM 上 Application 的生命周期與 RM 上 Application 的生命周期是一致的，

// 截取 ApplicationImpl 中一部分狀態機的代碼
  private static StateMachineFactory<ApplicationImpl, ApplicationState,
          ApplicationEventType, ApplicationEvent> stateMachineFactory =
      new StateMachineFactory<ApplicationImpl, ApplicationState,
          ApplicationEventType, ApplicationEvent>(ApplicationState.NEW)

           // Transitions from NEW state
           .addTransition(ApplicationState.NEW, ApplicationState.INITING,
               ApplicationEventType.INIT_APPLICATION, new AppInitTransition())
           .addTransition(ApplicationState.NEW, ApplicationState.NEW,
               ApplicationEventType.INIT_CONTAINER,
               INIT_CONTAINER_TRANSITION)

           // Transitions from INITING state
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.INIT_CONTAINER,
               INIT_CONTAINER_TRANSITION)
           .addTransition(ApplicationState.INITING,
               EnumSet.of(ApplicationState.FINISHING_CONTAINERS_WAIT,
                   ApplicationState.APPLICATION_RESOURCES_CLEANINGUP),
               ApplicationEventType.FINISH_APPLICATION,
               new AppFinishTriggeredTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_CONTAINER_FINISHED,
               CONTAINER_DONE_TRANSITION)
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_LOG_HANDLING_INITED,
               new AppLogInitDoneTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_LOG_HANDLING_FAILED,
               new AppLogInitFailTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.RUNNING,
               ApplicationEventType.APPLICATION_INITED,
               new AppInitDoneTransition())

下面進行具體介紹：

1、基本狀態

• NEW：狀態機初始狀態，每個 Application 對應一個狀態機，而每個狀態機的初始狀態均為 NEW，
• INITING：Application 處于初始化狀態，即創建日志目錄和作業目錄，創建 AppLogAggregator 物件等，
• FINISHING_CONTAINERS_WAIT：等待回收 Container 占用的資源時所處的狀態，當 Application 狀態機收到 FINISH_APPLICATION 事件后，會向各個 Container 發送 KILL 命令以回收它們占用的資源，
• APPLICATION_RESOURCES_CLEANINGUP：Application 的所有 Container 占用的資源被識訓后，它將處于 APPLICATION_RESOURCES_CLEANINGUP 狀態，
• RUNNING：Application 初始化（完成創建日志目錄和作業目錄，創建 AppLog-Aggregator 等作業）完成后，將進入 RUNNING 狀態，
• FINISHED：Application 將占用的各種檔案資源發送給檔案洗掉服務 DeletionService（該服務會異步洗掉檔案，避免產生性能問題）后，進入 FINISHED 狀態，表示運行完成，

2、基本事件

• INIT_APPLICATION：NM 收到來自某個 Application 的第一個 Container 后，會觸發一個 INIT_APPLICATION 事件，同時使 Application 狀態由初始狀態 NEW 轉換為 INITING，
• APPLICATION_INITED：Application 初始化完成后將觸發一個 APPLICATION_INITED 事件，Application 初始化主要作業是初始化各類必需的服務組件（比如日志記錄組件 LogHandler、資源狀態追蹤組件 LocalResourcesTrackerImpl 等），供后續 Container 使用，通常由 Application 的第一個 Container 完成，
• FINISH_APPLICATION：NodeManager 收到 ResourceManager 發送的待清理的 Application 串列后，會向這些 Application 發送一個 FINISH_APPLICATION 事件
• APPLICATION_CONTAINER_FINISHED：該 Application 的一個 Container 運行完成（可能運行失敗，也可能運行成功）后將觸發一個 APPLICATION_CONTAINER_FINISHED 事件，
• APPLICATION_RESOURCES_CLEANEDUP：Application 所有 Container 占用的資源被清理完成（比如占用的臨時目錄）后將觸發一個 APPLICATION_RESOURCES_CLEANEDUP 事件
• INIT_CONTAINER：NodeManager 收到 ApplicationMaster 通過 RPC 函式 ContainerManagementProtocol#startContainer 發送的啟動 Container 的請求后，會觸發一個 INIT_CONTAINER 事件，

二）Container 狀態機

Container 狀態機維護一個 container 運行的全部狀態，包含 11 個狀態和 10 個事件，實作類是 nodemanager/containermanager/container/ContainerImpl.java，下面是狀態轉化的圖：

1、基本狀態

• NEW：狀態機初始狀態，每個 Container 對應一個狀態機，而每個狀態機的初始狀態均為 NEW，
• LOCALIZING：Container 運行之前，需從 HDFS 上下載依賴的檔案資源，Container 正在下載檔案時所處的狀態稱為 LOCALIZING，
• LOCALIZED：運行 Container 所需的檔案資源已經全部下載（快取）到本地后，將進入該狀態，
• LOCALIZATION_FAILED：由于檔案損壞、磁盤損壞等原因，Container 下載資源失敗（這將導致依賴該資源的所有 Container 運行失敗），此時 Container 所處的狀態為 LOCALIZATION_FAILED，
• RUNNING：ContainerLaunch 組件為 Container 創建作業目錄和構造執行腳本，并通知 ContainerExecutor 執行該腳本，使得 Container 進入 RUNNING 狀態，
• EXITED_WITH_SUCCESS：ContainerExecutor 啟動 Container 執行腳本后，阻塞直到腳本正常退出執行，此時 Container 將處于 EXITED_WITH_SUCCESS 狀態，
• DONE：Container 正常退出執行后，首先需清理它占用的各種臨時檔案，一旦清理完成后，Container 狀態將轉移為完成狀態 DONE，
• KILLING：Container 正在被殺死時所處的狀態，通常是由于記憶體超量使用被監控執行緒殺死，或者 ResourceManager 和 ApplicationMaster 主動殺死 Container，
• EXITED_WITH_FAILURE：Container 在執行程序中例外退出后所處的狀態，通常是由于 Container 內部原因導致，比如程式 bug、硬體故障等，

2、基本事件

• INIT_CONTAINER：NodeManager 收到來自 ApplicationMaster 的啟動 Container 的請求，則會創建一個 Container 物件，并觸發一個 INIT_CONTAINER 事件，使 Container 狀態由初始狀態 NEW 轉換為 LOCALIZING，
• RESOURCE_LOCALIZED：Container 成功從 HDFS 下載一種資源到本地（快取），會觸發一個 RESOURCE_LOCALIZED 事件，注意，一個 Container 可能需要下載多種資源，因此，該事件可能使 Container 維持在 LOCALIZING 狀態或者進入新狀態 LOCALIZED（所有資源均下載完成），
• CONTAINER_LAUNCHED：ContainerLaunch 呼叫函式 ContainerExecutor#launchContainer 成功啟動后，會觸發一個 CONTAINER_LAUNCHED 事件，使得 Container 從 LOCALIZED 狀態轉換為 CONTAINER_LAUNCHED 狀態，需要注意的，由于函式 ContainerExecutor#launchContainer 是阻塞的，所以它要等到 Container 退出執行后才會退出，因此，該事件將在該函式呼叫之后發出，
• CONTAINER_EXITED_WITH_SUCCESS：Container 正常退出（執行 Container 實際上是執行一個 Shell 腳本，正常結束運行后會回傳 0），會觸發一個 CONTAINER_EXITED_WITH_SUCCESS 事件，
• CONTAINER_RESOURCES_CLEANEDUP：NodeManager 清理完成 Container 使用的各種臨時目錄（主要是洗掉分布式快取中的臨時資料），此時會觸發一個 CONTAINER_RESOURCES_CLEANEDUP 事件，使得 Container 從 EXITED_WITH_SUCCESS 狀態轉換為 DONE 狀態，
• RESOURCE_FAILED：Container 本地化程序中拋出例外，會觸發一個 RESOURCE_FAILED 事件，導致 Container 失敗，
• KILL_CONTAINER：在多種場景下會觸發產生 KILL_CONTAINER 事件，包括 ResourceManager 要求 NodeManager 殺死一個 Container；Container 使用的記憶體量超過約定值，被監控執行緒殺死；ApplicationMaster 要求 NodeManager 殺死一個 Container（通過 RPC 函式 ContainerManagementProtocol#stopContainer），
• CONTAINER_EXITED_WITH_FAILURE：Container 例外退出（運行程序中拋出 Throwable 例外）時，會觸發一個 CONTAINER_EXITED_WITH_FAILURE 事件，

三）LocalizedResource 狀態機

下載是在從 init 狀態轉移到 downloading 狀態時，會發一個 REQUEST_RESOURCE_LOCALIZATION 事件，這個事件是會發給 ResourceLocalizationService，ResourceLocalizationService 根據資源的型別和可見性確定路徑并下載他，下載是異步的（并且每個 application 對應著自己的下載執行緒），每個下載會對應一個 callable 的 FSDownload，
狀態機如下圖所示，非常簡單，不再具體介紹，

三、小結

本篇文章對 NodeManager 中三類狀態機進行了介紹，其主要都是維護一個應用程式的生命周期，無需強行記憶，知道有這三類狀態機，遇到問題再對應查看即可，

參考文章：
《Hadoop技術內幕：深入決議YARN架構設計與實作原理》

標籤：其他

上一篇：微信小程式訂閱訊息開發指南(java)

下一篇：為什么 Python、Go 和 Rust 都不支持三元運算子？