MapReduce計算流程
1 首先是通程序式員所撰寫的MR程式通過命令列本地提交或者IDE遠程提交
2 一個MR程式就是一個Job，Job資訊會給Resourcemanger，向Resourcemanger注冊資訊
3 在注冊通過后，Job會拷貝相關的資源資訊（從HDFS中）
4 緊接著會向Resourcemanger提交完整的Job資訊（包括資源資訊）
5a Resourcemanger 會通過提交的Job資訊，計算出Job所需的資源，為Job分配Container資源
5b 計算資源會分發給對應的NodeManger，NodeManager會創建一個MRAppMaster
6 MRAppMaster初始化Job
7 獲取輸入切片資訊
8 MRAppMaster向ResourceManager 請求資源
9a 啟動計算資源（連接到對應的資源所在NodeManager）
9b 啟動YARN Child
10 從檔案系統中獲取完整的Job資訊
11 啟動對應的Maptask或者ReduceTask 行程，執行計算，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/50608.html
標籤：架構設計