**如何在 pyspark df 中處理不同型別的日期格式。我得到空值。
data=[["1","02-10-2020"],["2","03-15-2019"],["3","04-05-2021"], ['4', '02/19/2021'], ['5', '01/25/2022']]
df=spark.createDataFrame(data,["id","Date"])
df.show()
df.printSchema()
--- ----------
| id| Date|
--- ----------
| 1|02-10-2020|
| 2|03-15-2019|
| 3|04-05-2021|
| 4|02/19/2021|
| 5|01/25/2022|
--- ----------
root
|-- id: string (nullable = true)
|-- Date: string (nullable = true)
我試過這種方式得到 null 而不是 day
df.select('Date', to_date(col('Date'), 'MM-dd-yyyy').alias('New_date')).show()
---------- ----------
| Date| New_date|
---------- ----------
|02-10-2020|2020-02-10|
|03-15-2019|2019-03-15|
|04-05-2021|2021-04-05|
|02/19/2021| null|
|01/25/2022| null|
---------- ----------
我需要的輸出：
---------- ----------
| Date| New_date|
---------- ----------
|02-10-2020|2020-02-10|
|03-15-2019|2019-03-15|
|04-05-2021|2021-04-05|
|02/19/2021|2021-02-19|
|01/25/2022|2022-01-25|
---------- ----------
uj5u.com熱心網友回復：
您的資料中有 2 種不同的格式。所以你需要2個不同的程序：
from pyspark.sql import functions as F
df.select(
"Date",
F.coalesce(
F.to_date(F.col("Date"), "MM-dd-yyyy"),
F.to_date(F.col("Date"), "MM/dd/yyyy"),
).alias("new_date"),
).show()
您還可以/將字串中的替換為-。
uj5u.com熱心網友回復：
除了@Steven 的回答，您還可以執行以下操作 -
from pyspark.sql.functions import *
df1 = df.withColumn("New_date", to_date(regexp_replace(col("Date"), "/", "-"), "MM-dd-yyyy"))#.drop("Date")
df1.show()
輸出 -
--- ---------- ----------
| id| Date| New_date|
--- ---------- ----------
| 1|02-10-2020|2020-02-10|
| 2|03-15-2019|2019-03-15|
| 3|04-05-2021|2021-04-05|
| 4|02/19/2021|2021-02-19|
| 5|01/25/2022|2022-01-25|
--- ---------- ----------
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/445126.html