概述
MaWo 是一個基于 YARN 服務的框架,用于處理基于 Master Worker 的作業負載,這是一個應用程式,它可以輸入包含任務的作業規范、任務的預期持續時間,并且包含一個 Master 將任務分發給預定的一組works,組件將負責在特定的時間內完成作業,
MaWo組件
MaWo 應用程式是一個YARN 服務應用程式,它主要有兩個組成部分,
1.Master:
·讀取MaWo-Payload 檔案并創建任務佇列
·注冊Worker
·將任務分配給作業節點
·監控任務狀態
·記錄任務狀態
2.Worker:
·向 Worker 發送心跳
·執行任務
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/293123.html
標籤:其他
下一篇:二、Spark算子調優最佳實踐
