gpt4 book ai didi

scala - Spark 将 TimestampType 转换为 yyyyMMddHHmm 格式的字符串

转载 作者:行者123 更新时间:2023-12-02 20:03:42 38 4
gpt4 key购买 nike

在我的数据框中,我有一列 TimestampType 格式为“2019-03-16T16:54:42.968Z”的列,我想将其转换为格式为“201903161654”的 StringType 列,而不是通用时间戳列。这是因为我需要根据字符串格式的时间戳对多个目录进行分区,如果我在时间戳列上分区,它会在创建目录时创建特殊字符。

我可以在spark中使用任何api将Timestamp列转换为具有上述格式的字符串类型吗?

最佳答案

使用 unix_timestamp 和 date_format 函数

scala> val dt = Seq("2019-03-16T16:54:42.968Z").toDF("ts_str")
dt: org.apache.spark.sql.DataFrame = [ts_str: string]

scala> dt.select(unix_timestamp('ts_str,"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'")).show
+----------------------------------------------------+
|unix_timestamp(ts_str, yyyy-MM-dd'T'HH:mm:ss.SSS'Z')|
+----------------------------------------------------+
| 1552735482|
+----------------------------------------------------+


scala> dt.select(date_format(unix_timestamp('ts_str,"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'").cast("timestamp"), "yyyyMMddHHmm").as("res") ).show
+------------+
| res|
+------------+
|201903161654|
+------------+


scala>

或仅使用 to_timestamp 和 date_format 函数

scala> val dt = Seq("2019-03-16T16:54:42.968Z").toDF("ts_str")
dt: org.apache.spark.sql.DataFrame = [ts_str: string]

scala> dt.withColumn("ts_str",to_timestamp('ts_str,"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'")).show(false)
+-------------------+
|ts_str |
+-------------------+
|2019-03-16 16:54:42|
+-------------------+


scala> dt.withColumn("ts_str",date_format(to_timestamp('ts_str,"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"), "yyyyMMddHHmm" )).show(false)
+------------+
|ts_str |
+------------+
|201903161654|
+------------+


scala>

关于scala - Spark 将 TimestampType 转换为 yyyyMMddHHmm 格式的字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55212061/

38 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com