我有一個 EMR 集群（1 個主節點 1 個核心節點）并且我提交了我的 spark-application 部署模式是cluster模式。
從檔案中，我知道給定這種部署模式的driver內部Spark Application Master運行，但是哪個節點（主節點或核心）將被選擇Yarn運行Spark Application Master？它總是master節點嗎？謝謝。
uj5u.com熱心網友回復：
Application Master 永遠不會在集群的主實體上運行（除了您正在運行一個沒有核心實體的單節點“集群”的邊緣情況）。
Application Master 在集群的隨機核心/任務實體上運行。它在 YARN 容器中運行，因此它必須在運行 YARN NodeManager 的實體上運行。主實體運行 YARN ResourceManager，核心/任務實體運行 YARN NodeManager。
此外，驅動程式并不總是在 Application Master 行程中運行。事實上，默認情況下（意思是“客戶端”部署模式）它不會在Application Master 行程中運行。在這種情況下，驅動程式（在主實體上運行）和應用程式主實體（在隨機核心/任務實體上運行）是兩個完全獨立的東西。
如果您在“集群”部署模式下運行 Spark（例如，通過添加--deploy-mode cluster引數spark-submit），那么驅動程式將在 Application Master 內部運行，并且它將在隨機核心/任務實體上運行。在這種情況下，唯一在主實體上運行的將是一個瘦包裝行程，它輪詢在 YARN 中運行的應用程式的狀態。
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/436854.html