作者热门文章
- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
有没有办法将纳秒时间戳值转换为 Spark 中的时间戳。我从 csv 文件获取输入,并且时间戳值的格式为2015 年 12 月 12 日 14:09:36.992415+01:00
。这是我尝试过的代码。
val date_raw_data = List((1, "12-12-2015 14:09:36.992415+01:00"))
val dateraw_df = sc.parallelize(date_raw_data).toDF("ID", "TIMESTAMP_VALUE")
val ts = unix_timestamp($"TIMESTAMP_VALUE", "MM-dd-yyyy HH:mm:ss.ffffffz").cast("double").cast("timestamp")
val date_df = dateraw_df.withColumn("TIMESTAMP_CONV", ts).show(false)
输出为
+---+-----------------------+---------------------+
|ID |TIMESTAMP_VALUE |TIMESTAMP_CONV |
+---+-----------------------+---------------------+
|1 |12-12-2015 14:09:36.992|null |
+---+-----------------------+---------------------+
我能够使用格式 MM-dd-yyyy HH:mm:ss.SSS
转换毫秒时间戳。问题在于纳秒和时区格式。
最佳答案
unix_timestamp
在这里不起作用。即使您可以解析该字符串(AFAIK SimpleDateFormat
不提供所需的格式),unix_timestamp
has only second precision (强调我的):
def unix_timestamp(s: Column, p: String): Column
Convert time string with given pattern (see [http://docs.oracle.com/javase/tutorial/i18n/format/simpleDateFormat.html]) to Unix time stamp (in seconds), return null if fail.
您必须创建自己的函数来解析此数据。一个大概的想法:
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column
def to_nano(c: Column) = {
val r = "([0-9]{2}-[0-9]{2}-[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2})(\\.[0-9]*)(.*)$"
// seconds part
(unix_timestamp(
concat(
regexp_extract($"TIMESTAMP_VALUE", r, 1),
regexp_extract($"TIMESTAMP_VALUE", r, 3)
), "MM-dd-YYYY HH:mm:ssXXX"
).cast("decimal(38, 9)") +
// subsecond part
regexp_extract($"TIMESTAMP_VALUE", r, 2).cast("decimal(38, 9)")).alias("value")
}
Seq("12-12-2015 14:09:36.992415+01:00").toDF("TIMESTAMP_VALUE")
.select(to_nano($"TIMESTAMP_COLUMN").cast("timestamp"))
.show(false)
// +--------------------------+
// |value |
// +--------------------------+
// |2014-12-28 14:09:36.992415|
// +--------------------------+
关于datetime - 将带有纳秒的字符串转换为spark中的时间戳,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46172432/
根据这个问题:Fractional power of units of measures in F# F# 中的度量单位不支持分数幂。 在我的应用程序中,有时考虑带有度量前缀的数据是有益的,例如当处理
我是一名优秀的程序员,十分优秀!