我正在運行這段代碼，我只想取回一些列，而不是參與連接的所有表的所有列。
df_final = df.join(df1,(df['sbr_brand']==df1['sbr_brand'])\
&(df['sbr_number']==df1['sbr_number'])\
&(df['calendar_date']==df1['calendar_date'])\
&(df['check_number']==df1['check_number']))\
.join(df2,(df['sbr_brand']==df2['brand'])\
&(df['sbr_number']==df2['store_number'])\
&(df['calendar_date']==df2['date_of_business'])\
&(df['check_number']==df2['check_number']),'inner')\
.select(df['modifier_gross_amount'],df1['check_line_number','item_barcode','dining_option','item_quantity','item_gross_amount','item_net_amount'],df2['brand_id'])
我有一個錯誤：
Invalid argument, not a string or column: DataFrame[check_line_number: bigint, item_barcode: string, dining_option: string, item_quantity: double, item_gross_amount: decimal(38,6), item_net_amount: decimal(38,6)] of type <class 'pyspark.sql.dataframe.DataFrame'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' function.
我從底部洗掉了 select 陳述句，代碼運行完美。然后我運行下面的命令，它顯示了所有 3 個資料幀的所有列。
display(df_final)
我還運行了一個單獨的命令，看看它是否有所作為：
df_final2 = df_final.select(df['modifier_gross_amount'],df1['check_line_number','item_barcode','dining_option','item_quantity','item_gross_amount','item_net_amount'],df2['brand_id'])
但我得到了同樣的錯誤。不知道如何解決這個問題。請指教。
uj5u.com熱心網友回復：
嘗試使用如下的東西 -
示例輸入資料幀
df1 = spark.createDataFrame(data=[(1,1,3),(2,1,1),(2,2,3),(1,2,3),(1,2,1)], schema=['id1', 'id2', 'value'])
df2 = spark.createDataFrame(data=[(1,1,3),(2,1,1),(2,2,3),(1,2,3),(1,2,1)], schema=['id1', 'id2', 'value'])
輸出（使用連接）
df1.join(df2, (df1["id1"] == df2["id1"]) & (df1["id2"] == df2["id2"]) & (df1["value"] == df2["value"])).select(df1["id1"], df2["id2"], df1["value"]).show()
--- --- -----
|id1|id2|value|
--- --- -----
| 1| 1| 3|
| 1| 2| 1|
| 1| 2| 3|
| 2| 1| 1|
| 2| 2| 3|
--- --- -----
uj5u.com熱心網友回復：
df['col1']回傳一個Column，同時df['col1', 'col2']回傳一個DataFrame。
函式的引數select必須是字串或列。所以應該是：
df_final2 = df_final.select(df['modifier_gross_amount'],df1['check_line_number'],df1['item_barcode'],df1['dining_option'],df1['item_quantity'],df1['item_gross_amount'],df1['item_net_amount'],df2['brand_id'])
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/448523.html
標籤：阿帕奇火花 pyspark apache-spark-sql 火花流
上一篇：將多列轉換為具有可變列數的單行
下一篇：我如何將行與組配對？