gpt4 book ai didi

scala - 如何在 Spark 中将 unix 时间戳转换为日期

转载 作者:行者123 更新时间:2023-12-02 10:23:33 33 4
gpt4 key购买 nike

我有一个带有unix时间戳列的数据框(例如1435655706000),我想将其转换为格式为“yyyy-MM-DD”的数据,我尝试过nscala-time但它没有工作。

val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)

我得到了错误:java.lang.IllegalArgumentException:格式无效:“1435655706000”在“6000”处格式错误

最佳答案

这里使用 Scala DataFrame 函数:from_unixtimeto_date

// NOTE: divide by 1000 required if milliseconds
// e.g. 1446846655609 -> 2015-11-06 21:50:55 -> 2015-11-06
mr.select(to_date(from_unixtime($"ts" / 1000)))

关于scala - 如何在 Spark 中将 unix 时间戳转换为日期,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31134969/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com