scala - 如何为 HH :MM:SS:Ms to value in seconds? 转换 Spark Dataframe 列

Question

我想将 spark 数据框列从其值小时分秒转换

例如“01:12:17.8370000”

将成为 4337 的感谢您的评论。

或“00:00:39.0390000”

将变为 39 秒。

我已阅读此问题，但不知道如何使用此代码转换我的 spark 数据框列。

Convert HH:mm:ss in seconds

类似的东西

df.withColumn("duration",col("duration")....)

我正在使用 scala 2.10.5 和 spark 1.6

谢谢

Answer 1

假设“持续时间”列包含字符串中的持续时间，您可以使用 functions 的“unix_timestamp”函数包以获取通过模式的秒数:

import org.apache.spark.sql.functions._

val df = Seq("01:12:17.8370000", "00:00:39.0390000").toDF("duration") 

val newColumn = unix_timestamp(col("duration"), "HH:mm:ss")
val result = df.withColumn("duration", newColumn)
result.show

+--------+
|duration|
+--------+
|    4337|
|      39|
+--------+