scala - 如何在 Spark 中将 unix 时间戳转换为日期

Question

我有一个带有unix时间戳列的数据框(例如1435655706000)，我想将其转换为格式为“yyyy-MM-DD”的数据，我尝试过nscala-time但它没有工作。

val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)

我得到了错误:java.lang.IllegalArgumentException:格式无效:“1435655706000”在“6000”处格式错误

Answer 1

这里使用 Scala DataFrame 函数:from_unixtime和 to_date

// NOTE: divide by 1000 required if milliseconds
// e.g. 1446846655609 -> 2015-11-06 21:50:55 -> 2015-11-06 
mr.select(to_date(from_unixtime($"ts" / 1000)))