如果我們不能分配所有資源，火花或紗線是否有任何標志導致快速作業失敗？
例如，如果我運行
spark-submit --class org.apache.spark.examples.SparkPi
--master yarn-client
--num-executors 7
--driver-memory 512m
--executor-memory 4g
--executor-cores 1
/usr/hdp/current/spark2-client/examples/jars/spark-examples_*.jar 1000
現在，如果 spark 只能分配 5 個執行程式，它只會使用 5 個。我們可以只使用 7 個運行它還是在其他情況下失敗？
uj5u.com熱心網友回復：
您可以在作業中設定 spark.dynamicAllocation.minExecutors 配置。為此，您需要設定 spark.dynamicAllocation.enabled=true，詳見本檔案
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/450577.html
上一篇：如何可變json欄位名稱火花
下一篇：創建十進制型別的列