我想在本地保存一個 csv 檔案，而不是將其保存到 Hadoop 檔案系統。當我使用以開頭的路徑時出現以下錯誤
> 'file://'
我該如何解決這個問題？或者如何在本地保存檔案而不會出現任何錯誤？
uj5u.com熱心網友回復：
恐怕它不會那樣作業，因為在本地保存資料意味著它必須全部存在于驅動程式中。根據pyspark docs，path引數 inpyspark.sql.DataFrameWriter.csv是“任何Hadoop支持的檔案系統中的路徑”。
據我所知，有幾種選擇：
- 將資料幀保存到 HDFS/Hadoop，然后將其復制到本地 FS
hdfs dfs -mget ...。這將是最直接和首選的方式。 - 將完整的資料幀帶到驅動程式，
df.collect()然后將其寫入本地FS。這對于大型資料幀可能不可行，因為它可能會使驅動程式因 OOM 而崩潰。 - 用于
df.toLocalIterator()一次將資料帶到驅動程式一個磁區，然后將其寫入本地FS。這避免/減少了先前選項帶來的 OOM 機會。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/418184.html
標籤：