我在sparksubmit設定了4個executor每個3G記憶體,一個core,但是運行卻只有兩個excutor,有時候又突然變成3個

uj5u.com熱心網友回復:
spark on yarn的話,如果yarn資源不夠你的設定,只能給你比如2個 executor * 3G,其中一個還是 AM,資源夠了,會再給你開一個。 資源不夠的情況下,頁面上看到的肯定不等于設定的。轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/42622.html
標籤:Spark
