我想在一個筆記本中快取一個表(資料框)并在另一個筆記本中使用它,我為兩個筆記本使用相同的資料塊集群。
請建議這是否可能,如果是,那么如何?
uj5u.com熱心網友回復:
是的,基于以下設定是可能的。
您可以將資料框注冊為temptable 。由創建的臨時視圖的生命周期與創建createOrReplaceTempView()資料幀的 Spark 會話相關聯。
spark.databricks.session.share to true
此設定全域臨時視圖以跨筆記本共享臨時視圖。參考:鏈接
uj5u.com熱心網友回復:
您可以在筆記本之間共享資料框。
在第一個筆記本上,請將其注冊為臨時視圖:
df_shared.createOrReplaceGlobalTempView("df_shared")
在第二個筆記本上,請從全域臨時資料庫中讀取它:
global_temp_db = spark.conf.get("spark.sql.globalTempDatabase")
df_shared= table(global_temp_db ".df_shared")
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/366091.html
上一篇:Hive“插入”不會添加值
