如果您的筆記本或潛水員程式因以下錯誤而被終止
代碼
from pyspark.sql import SparkSession
def main():
spark_sess = SparkSession.builder.appName('app_name').config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension").config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog").getOrCreate()
print("hello")
spark_sess.stop()
if __name__ == '__main__':
main()
錯誤：
The spark context has stopped and the driver is restarting. Your notebook will be automatically reattached
uj5u.com熱心網友回復：
請檢查您是否正在執行任何操作。
- spark_context.stop()
- 集群記憶體
當我們在資料塊中運行任何東西時，我們不應該停止火花背景關系。
uj5u.com熱心網友回復：
驅動程式沒有足夠的記憶體來處理驅動程式端的資料。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/333878.html
上一篇：ApacheBeamjava.lang.IllegalArgumentException：無效的lambda反序列化