我是 EMR 新手，我正在運行一個 EMR 集群，有 1 個主節點 (32gb) 和 5 個核心節點 (16gb)。我啟動了 11 個應用程式。應用程式必須分開，以防其中一個失敗（它們都是流式應用程式）。我必須提到我還在集群上運行了 ElasticSearch。一段時間后，主節點記憶體不足并停止回應，一些應用程式開始出現故障。在行程概述中，我發現許多較小的 hadoop 行程占用 1-1.3GB 的 RAM。我猜這些是每個應用程式的驅動程式行程。我嘗試將“spark.driver.memory”下的驅動程式記憶體減少到 512MB，但重新啟動應用程式后仍為 1.3GB。這是因為紗嗎？ES 只是分配 ca。主節點 6.5 GB RAM
uj5u.com熱心網友回復：
我必須在 spark-submit 命令中指定驅動程式記憶體，如下所示： spark-submit --driver-memory 500M
因為在python檔案中指定它為時已晚，當您在客戶端模式下運行驅動程式時，因為它之前分配了記憶體
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/494566.html