我的湖中列出了以下鑲木地板檔案,我想將鑲木地板檔案轉換為 CSV。
我試圖使用 SO 上的建議進行轉換,但我不斷收到屬性錯誤:
AttributeError: 'str' object has no attribute 'write'
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<command-507817377983169> in <module>
----> 1 df.write.format("csv").save("/mnt/lake/RAW/export/")
AttributeError: 'str' object has no attribute 'write'
我已經為鑲木地板檔案作為“df”駐留的位置創建了一個資料框,它提供了以下輸出:
Out[71]: '/mnt/lake/CUR/CURATED/F1Area/F1Domain/myfinal'
當我嘗試使用以下任一方法將鑲木地板寫入/轉換為 CSV 時,出現上述錯誤:
df.write.format("csv").save("/mnt/lake/RAW/export/")
df.write.csv(path)
我正在輸入以下內容來閱讀:df = spark.read.parquet("/mnt/lake/CUR/CURATED/F1Area/F1Domain/myfinal/"),但我收到以下錯誤訊息:
在 /mnt/lake/CUR/CURATED/F1Area/F1Domain/myfinal/_delta_log 中找到了 Databricks Delta 的事務日志,但您正在嘗試使用格式從 /mnt/lake/CUR/CURATED/F1Area/F1Domain/myfinal/ 讀取(“鑲木地板”)。讀取和寫入增量表時,您必須使用 'format("delta")'。要禁用此檢查,請設定 spark.databricks.delta.formatCheck.enabled=false
uj5u.com熱心網友回復:
您存盤的檔案是增量格式。因此,將其閱讀為以下命令
df= spark.read.format("delta").load(path_to_data)
加載后,首先嘗試顯示以確保使用display(df).
如果輸出符合預期,那么您可以將其作為 CSV 寫入您想要的位置。
uj5u.com熱心網友回復:
df變數的型別是字串,其值為/mnt/lake/CUR/CURATED/F1Area/F1Domain/myfinal。
您需要先讀取檔案并df在呼叫之前確保變數是 pyspark 資料框df.write
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/401255.html
