我開始使用Spark并發現了一個問題。CSV我嘗試使用以下代碼讀取檔案：
df = spark.read.csv("/home/oybek/Serverspace/Serverspace/Athletes.csv")
df.show(5)
Error：
Py4JJavaError: An error occurred while calling o38.csv.
: java.lang.OutOfMemoryError: Java heap space
我在Linux Ubuntu, VirtualBox:~/Serverspace.
uj5u.com熱心網友回復：
driver您可以嘗試通過創建spark session如下變數來更改記憶體：
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master('local[*]') \
.config("spark.driver.memory", "4g") \
.appName('read-csv') \
.getOrCreate()
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/432893.html
下一篇：如何根據列值創建范圍列？