我有以下資料框，diff_days其中一行和上一行之間的區別
---------- -------- ---------
| fx_date| col_1 |diff_days|
---------- -------- ---------
|2020-01-05| A| null|
|2020-01-09| B| 4|
|2020-01-11| C| 2|
---------- -------- ---------
我想獲得一個資料框，添加缺少日期的行和col_1與第一行相關的復制值。它應該是：
---------- --------
| fx_date| col_1 |
---------- --------
|2020-01-05| A|
|2020-01-06| A|
|2020-01-07| A|
|2020-01-08| A|
|2020-01-09| B|
|2020-01-10| B|
|2021-01-11| C|
---------- --------
uj5u.com熱心網友回復：
You can use lag sequence functions to generate the dates between previous and current row dates, then explode the list like this:
from pyspark.sql import functions as F, Window
df1 = df.withColumn(
"previous_dt",
F.date_add(F.lag("fx_date", 1).over(Window.orderBy("fx_date")), 1)
).withColumn(
"fx_date",
F.expr("sequence(coalesce(previous_dt, fx_date), fx_date, interval 1 day)")
).withColumn(
"fx_date",
F.explode("fx_date")
).drop("previous_dt", "diff_days")
df1.show()
# ---------- -----
#| fx_date|col_1|
# ---------- -----
#|2020-01-05| A|
#|2020-01-06| B|
#|2020-01-07| B|
#|2020-01-08| B|
#|2020-01-09| B|
#|2020-01-10| C|
#|2020-01-11| C|
# ---------- -----
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/425728.html