我有一個物件型別<class 'pyspark.sql.dataframe.DataFrame'>，我想將其轉換為 Pandas DataFRame。但是資料集太大了，我只需要一些列，因此我選擇了我想要的那些：
df = spark.table("sandbox.zitrhr023")
columns= ['X', 'Y', 'Z', 'etc']
然后：
df_new= df.select(*columns).show()
但它回傳一個NoneType物件。當我嘗試以下操作時：
df_new = df_new.toPandas()
它給出了以下錯誤：
AttributeError: 'NoneType' object has no attribute 'toPandas'
我需要df_new在轉換之前放入一個火花資料框toPandas()嗎？我怎么做？
uj5u.com熱心網友回復：
show在呼叫which print the Dataframe and return后，您正嘗試將其轉換為 Pandas Dataframe None，您可以嘗試以下操作嗎
df_new= df.select.(*columns).toPandas()
uj5u.com熱心網友回復：
df_new= df.select(*columns).show()是不正確的。您正在呼叫show()并定義一個變數。
你的語法應該是：
df_new = df.select(*columns).toPandas()
但真正的問題應該是：為什么要將 spark DF 轉換為 pandas？每次發生這種情況，熊貓都會死去
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/443996.html
上一篇：攔截來自側邊欄面板的請求