我有一個資料集，其中包含 2010 年到 2040 年之間的所有日期，采用這種格式
1/1/2010
1/2/2010
1/3/2010
...
...
...
12/31/2040
我正在使用 Spark 轉換資料，我正在嘗試應用一個過濾器，該過濾器只保留 [今天 - 2 年，未來開放] 的日期
我真的嘗試使用 Spark 提供的所有日期操作功能，包括
df_calendar.filter(datediff(to_date(col("date"),"m/d/yyyy"),current_date()).gt(-730))
df_calendar.select("*").withColumn("datediff",datediff(to_date(col("date"),"m/d/yyyy"),current_date())).filter(col("datediff")>(-730))
val today = df_calendar.select(date_sub(current_date(),730))
df_calendar.filter((to_date(col("date"),"m/d/yyyy") > today ))
但我總是得到相同的結果，資料集回傳從 2021 年 1 月 1 日開始的所有值，因為它可以追溯到“2 年”，但不是以天為單位。請注意，我也嘗試使用 year() 函式，它也回傳相同的結果，我對每次回傳的結果感到非常困惑，我真的需要你的幫助。
uj5u.com熱心網友回復：
不太清楚為什么您的代碼不起作用。
>>> from datetime import date, timedelta
>>> import pyspark.sql.functions as F
>>>
>>> seed_date = date(2010, 1, 1)
>>> two_years_back = date.today() - timedelta(days=2*365)
>>>
>>> df1 = spark.createDataFrame(data=[[ [seed_date timedelta(days=i) for i in range(0, 11323)] ]])
>>> df_calendar = df1.withColumn('date', F.explode(df1['_1'])).drop('_1')
>>>
>>> calendar_list = df_calendar.collect()
>>> calendar_list[0]
Row(date=datetime.date(2010, 1, 1))
>>> calendar_list[-1]
Row(date=datetime.date(2040, 12, 31))
>>>
>>> df3 = df_calendar.filter((F.col('date') > two_years_back) \
... & (F.col('date') < date.today())
>>> filtered_list = filtered_df.collect()
>>>
>>> filtered_list[0]
Row(date=datetime.date(2020, 2, 26))
>>> filtered_list[-1]
Row(date=datetime.date(2022, 2, 23))
>>>
編輯：所以我猜你的代碼的問題可能是你使用了錯誤的模式。
>>>
>>> from datetime import date, timedelta
>>> import pyspark.sql.functions as F
>>>
>>> seed_date = date(2010, 1, 1)
>>> two_years_back = date.today() - timedelta(days=2*365)
>>>
>>> df1 = spark.createDataFrame(data=[[ [(seed_date timedelta(days=i)).strftime('%-m/%-d/%Y') for i in range(0, 11323)] ]])
>>> df_calendar = df1.withColumn('date', F.explode(df1['_1'])).drop('_1')
>>>
>>> calendar_list = df_calendar.collect()
>>> calendar_list[0]
Row(date='1/1/2010')
>>> calendar_list[-1]
Row(date='12/31/2040')
>>>
>>> filtered_df = df_calendar.filter((F.to_date(F.col("date"), 'M/d/yyyy') < date.today()) \
... & (F.to_date(F.col("date"), 'M/d/yyyy') > two_years_back))
>>> filtered_list = filtered_df.collect()
>>>
>>> filtered_list[0]
Row(date='2/26/2020')
>>> filtered_list[-1]
Row(date='2/23/2022')
>>>
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/434267.html
標籤：斯卡拉 阿帕奇火花 日期 apache-spark-sql 日历
上一篇：如何使用'Temporal'API在不同的日歷日期之間進行轉換
下一篇：將日期列分組為n天期間