我有一個看起來像下面這樣的資料框，但有數百行。我需要旋轉它，以便之后的每一列Region都是一行，就像下面的另一個表一樣。
-------------- ---------- --------------------- ---------- ------------------ ------------------ -----------------
|city |city_tier | city_classification | Region | Jan-2022-orders | Feb-2022-orders | Mar-2022-orders|
-------------- ---------- --------------------- ---------- ------------------ ------------------ -----------------
|new york | large | alpha | NE | 100000 |195000 | 237000 |
|los angeles | large | alpha | W | 330000 |400000 | 580000 |
我需要使用 PySpark 旋轉它，所以我最終得到了這樣的結果：
-------------- ---------- --------------------- ---------- ----------- ---------
|city |city_tier | city_classification | Region | month | orders |
-------------- ---------- --------------------- ---------- ----------- ---------
|new york | large | alpha | NE | Jan-2022 | 100000 |
|new york | large | alpha | NE | Fev-2022 | 195000 |
|new york | large | alpha | NE | Mar-2022 | 237000 |
|los angeles | large | alpha | W | Jan-2022 | 330000 |
|los angeles | large | alpha | W | Fev-2022 | 400000 |
|los angeles | large | alpha | W | Mar-2022 | 580000 |
PS：使用熊貓的解決方案也可以。
uj5u.com熱心網友回復：
在熊貓中：
df.melt(df.columns[:4], var_name = 'month', value_name = 'orders')
city city_tier city_classification Region month orders
0 york large alpha NE Jan-2022-orders 100000
1 angeles large alpha W Jan-2022-orders 330000
2 york large alpha NE Feb-2022-orders 195000
3 angeles large alpha W Feb-2022-orders 400000
4 york large alpha NE Mar-2022-orders 237000
5 angeles large alpha W Mar-2022-orders 580000
甚至
df.melt(['city', 'city_tier', 'city_classification', 'Region'],
var_name = 'month', value_name = 'orders')
city city_tier city_classification Region month orders
0 york large alpha NE Jan-2022-orders 100000
1 angeles large alpha W Jan-2022-orders 330000
2 york large alpha NE Feb-2022-orders 195000
3 angeles large alpha W Feb-2022-orders 400000
4 york large alpha NE Mar-2022-orders 237000
5 angeles large alpha W Mar-2022-orders 580000
uj5u.com熱心網友回復：
在 PySpark 中，您當前的示例：
from pyspark.sql import functions as F
df = spark.createDataFrame(
[('new york', 'large', 'alpha', 'NE', 100000, 195000, 237000),
('los angeles', 'large', 'alpha', 'W', 330000, 400000, 580000)],
['city', 'city_tier', 'city_classification', 'Region', 'Jan-2022-orders', 'Feb-2022-orders', 'Mar-2022-orders']
)
df2 = df.select(
'city', 'city_tier', 'city_classification', 'Region',
F.expr("stack(3, 'Jan-2022', `Jan-2022-orders`, 'Fev-2022', `Feb-2022-orders`, 'Mar-2022', `Mar-2022-orders`) as (month, orders)")
)
df2.show()
# ----------- --------- ------------------- ------ -------- ------
# | city|city_tier|city_classification|Region| month|orders|
# ----------- --------- ------------------- ------ -------- ------
# | new york| large| alpha| NE|Jan-2022|100000|
# | new york| large| alpha| NE|Fev-2022|195000|
# | new york| large| alpha| NE|Mar-2022|237000|
# |los angeles| large| alpha| W|Jan-2022|330000|
# |los angeles| large| alpha| W|Fev-2022|400000|
# |los angeles| large| alpha| W|Mar-2022|580000|
# ----------- --------- ------------------- ------ -------- ------
啟用它的功能是stack。它沒有資料框 API，因此您需要使用expr它來訪問它。
順便說一句，這不是旋轉，而是相反 - 不旋轉。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/468338.html
標籤：熊猫 数据框 阿帕奇火花 pyspark apache-spark-sql
上一篇：在Javasparkml中創建自定義Transformer的最佳方法
下一篇：如何更改地圖資料型別中的值