apache-spark - Spark数据框添加新列问题 - 结构化流

Question

我正在使用 spark 结构化流。我有一个数据框并添加了一个新列“current_ts”。

inpuDF.withColumn("current_ts", lit(System.currentTimeMillis()))

这不会用当前纪元时间更新每一行。它会在触发作业时更新相同的 epcoh 时间，从而导致 DF 中的每一行都具有相同的值。这适用于正常的 Spark 作业。这是 Spark 结构化流的问题吗？

Answer 1

那么 spark 将您的转换记录为沿袭图，并且仅在调用某些操作时才执行该图。所以它会调用

System.currentTimeMillis()

当某个 Action 被触发时。我不明白其中的内容让您感到困惑或您想要实现什么。谢谢。