與今天的日期相比，我試圖找出一種在日期列上使用帶有視窗磁區的月度范圍的方法。
所以假設今天是 2021 年 1 月 21 日，所以我需要獲取月份和年份為 202101，然后根據推匯出的值放置月份范圍。
就像 2 個月大的行一樣，202101 = 202011
然后在獲得的結果上，我需要在另一列上使用聚合。
所以如果輸入是：
Id,date, price
1,1-10-2021,5
1,1-11-2021,6
1,1-09-2021,10
當前日期是 20 Jan 2021
所以如果我想要過去兩個月（十二月和十一月）的聚合，那么輸出應該是 5
如果我想要過去三個月（12 月、11 月、10 月）的聚合，輸出應該是 11
uj5u.com熱心網友回復：
在這種情況下，您不需要 Window。簡單地分組id并使用條件總和聚合：
from pyspark.sql import functions as F
df = spark.createDataFrame([
(1, "2021-10-01", 5), (1, "2021-11-01", 6),
(1, "2021-09-01", 10), (2, "2021-12-01", 9)
], ["Id", "date", "price"])
nb_last_months = 2
df1 = df.groupBy("id").agg(
F.sum(
F.when(
F.col("date") >= F.add_months(F.date_trunc("month", F.current_date()), - nb_last_months),
F.col("price")
)
).alias(f"sum_last_{nb_last_months}_months")
)
df1.show()
# --- -----------------
#| id|sum_last_2_months|
# --- -----------------
#| 1| 6|
#| 2| 9|
# --- -----------------
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/418181.html
標籤：