總的來說，我是 spark 新手，對 Linux 也比較陌生。我在本地 Ubuntu 上以客戶端模式運行 Spark。我有 16 GB 的 RAM。
uj5u.com熱心網友回復：
您可以更改所有會話的默認值
$SPARK_HOME/spark-defaults.conf
如果你沒有找到spark-defaults.conf你應該有一個檔案spark-defaults.conf.template，只需cp spark-defaults.conf.template spark-defaults.conf編輯它，取消注釋該行：
# spark.driver.memory 5g
.config或者，您可以在會話構建器中使用僅為當前會話設定值：
spark = SparkSession.builder \
.master("local[*]") \
.appName("myApp") \
.config("spark.driver.memory", "5g") \
.getOrCreate()
（也許您可能還想增加spark.executor.memory）
另請參閱我對類似問題的其他回答。
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/472154.html