gpt4 book ai didi

apache-spark - 将日期从字符串转换为数据框中的日期格式

转载 作者:行者123 更新时间:2023-12-03 07:27:28 31 4
gpt4 key购买 nike

我正在尝试使用 to_date 函数将字符串格式的列转换为日期格式,但它返回 Null 值。

df.createOrReplaceTempView("incidents")
spark.sql("select Date from incidents").show()

+----------+
| Date|
+----------+
|08/26/2016|
|08/26/2016|
|08/26/2016|
|06/14/2016|

spark.sql("select to_date(Date) from incidents").show()

+---------------------------+
|to_date(CAST(Date AS DATE))|
+---------------------------+
| null|
| null|
| null|
| null|

日期列采用字符串格式:

 |-- Date: string (nullable = true)

最佳答案

在 Java 中使用 to_date SimpleDateFormat .

TO_DATE(CAST(UNIX_TIMESTAMP(date, 'MM/dd/yyyy') AS TIMESTAMP))

示例:

spark.sql("""
SELECT TO_DATE(CAST(UNIX_TIMESTAMP('08/26/2016', 'MM/dd/yyyy') AS TIMESTAMP)) AS newdate"""
).show()

+----------+
| dt|
+----------+
|2016-08-26|
+----------+

关于apache-spark - 将日期从字符串转换为数据框中的日期格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40763796/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com