如何根據特定現有列的值將值放入新的單獨DataFrame列？即轉置DataFrame

我有一個包含不同來源的混合資料的 DataFrame，請注意，有一部分資料是在同一時間戳獲得的：

 -------------------------------------- ------ ------------------- ----------------- --------------- ----------------------- 
|devicename                            |value |time               |one_type_id|another_type_id|write_time             |
 -------------------------------------- ------ ------------------- ----------------- --------------- ----------------------- 
|Real_Power_KPI                        |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.129|
|Voltage_Sensor                        |243.93|2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.129|
|Current_Sensor                        |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.129|
|Casing_Vibration_Sensor               |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Water_Temperature_Sensor              |17.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Environment_Ambient_Temperature_Sensor|17.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Pump_Vibration_Sensor                 |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Water_Level_Sensor                    |15.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Environment_Humidity_Sensor           |81.2  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:36.369|
|Water_Temperature_Sensor              |17.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Casing_Vibration_Sensor               |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Pump_Vibration_Sensor                 |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Environment_Ambient_Temperature_Sensor|17.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Water_Level_Sensor                    |15.0  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Environment_Humidity_Sensor           |81.2  |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Real_Power_KPI                        |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Voltage_Sensor                        |245.01|2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Current_Sensor                        |0.0   |2021-03-24 07:06:35|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Real_Power_KPI                        |0.0   |2021-03-24 07:06:36|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Voltage_Sensor                        |244.31|2021-03-24 07:06:36|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |
|Current_Sensor                        |0.0   |2021-03-24 07:06:36|NP20100000       |NP20100000     |2021-03-24 07:06:37.01 |

所以，我想要的是為 Real_Power_KPI、Voltage_Sensor、Current_Sensor 設定單獨的列，并將它們的相應值連接在一行中，同時具有相同的時間戳。

就像是

|timestamp          |Real_Power_KPI|Voltage_Sensor|Current_Sensor|
|2021-03-24 07:06:36|0.0           |244.31        |0.0           |

那么我如何才能以最佳方式進行此轉置操作？

更新。

在過過招的回答中，提出了 Python 代碼，下面是為此提供的 Scala：

val df = dailySensorData.filter("devicename in ('Real_Power_KPI', 'Voltage_Sensor', 'Current_Sensor')") 
    .groupBy("time", "devicename").agg(expr("sum(value) as total")) 
    .groupBy("time").pivot("devicename").agg(expr("first(total)"))
df.show(false)

uj5u.com熱心網友回復：

先分組匯總，再用pivot行轉列。

df = df.filter("devicename in ('Real_Power_KPI', 'Voltage_Sensor', 'Current_Sensor')") \
    .groupBy('time', 'devicename').agg(F.expr('sum(value) as total')) \
    .groupBy('time').pivot('devicename').agg(F.expr('first(total)'))
df.show(truncate=False)

標籤：斯卡拉 阿帕奇火花 apache-spark-sql 阿帕奇齐柏林飞艇

上一篇：根據條件pyspark洗掉列

下一篇：Hive日期列在查詢資料時顯示為空