我有一個包含一些資料的大型鑲木地板檔案。假設有很多關于某些動物的資訊，例如：
id, name, breed, traits
我可以通過sql以標準方式在spark中查詢它。例子：
spark.sql("SELECT * form animals where id IN (10, 11)").collect()
我得到了一個結果。
但我想要做的是將找到的記錄復制為具有相同結構的新鑲木地板。這甚至可能嗎？我試圖在網上找到一些資訊，但我沒有找到任何有用的資訊，所以堆疊一如既往是我最后的希望:)
也許有人有一些提示或資源，關于鑲木地板上那種操作的檔案？
uj5u.com熱心網友回復：
您可以將結果存盤在 df 中，然后將該資料保存為鑲木地板檔案 -
df = spark.sql("SELECT * form animals where id IN (10, 11)")
df.write.parquet("filename.parquet")
要了解有關 parquet 檔案讀寫的更多資訊 -單擊此處
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/468333.html
上一篇：來自字典的Spark資料框