apache-spark - Spark 数据帧 : Convert bigint to timestamp

Question

我有一个带有 bigint 列的数据框。如何在scala spark中将bigint列转换为时间戳

Answer 1

您可以使用 from_unixtime/to_timestamp spark中的函数转换Bigint列到 timestamp .

示例:

spark.sql("select timestamp(from_unixtime(1563853753,'yyyy-MM-dd HH:mm:ss')) as ts").show(false)
+-------------------+
|ts                 |
+-------------------+
|2019-07-22 22:49:13|
+-------------------+

(或)

spark.sql("select to_timestamp(1563853753) as ts").show(false)
+-------------------+
|ts                 |
+-------------------+
|2019-07-22 22:49:13|
+-------------------+

架构:

spark.sql("select to_timestamp(1563853753) as ts").printSchema
root
 |-- ts: timestamp (nullable = false)

引用 this有关在 spark 中转换不同格式的时间戳的更多详细信息的链接。