java - 具有合成时间戳的 Spark 窗口函数？

Question

假设我有一个包含记录的数据文件，其中每条记录都有一个时间戳，如下所示:

foo,bar,blaz,timestamp1
foo,flibble,baz,timestamp2
bleh,foo,gnarly,timestamp3
...

我想使用 Spark 以需要使用 window() 函数的方式处理它。有什么方法可以读取这些记录，并将每个记录放入 DStream，以便我的代码明确提供 window() 函数使用的时间戳(在这种情况下基于解析输入记录中的时间戳字段)?

Answer 1

不是的，默认的Spark处理是基于系统时间的。如果您想使用事件时间构建窗口。我建议您使用“updateStateByKey”函数来处理更新函数中的逻辑。