apache-flink - Apache Flink 中的周期性水印和标点水印有什么区别？

Question

如果有人给出用例示例来解释每个 Watermark API 与下面给出的 Apache flink 之间的区别，将会很有帮助

周期性水印 - AssignerWithPeriodicWatermarks[T]

标点水印 - AssignerWithPunctuatedWatermarks[T]

Answer 1

两种类型的水印之间的主要区别是 getWatermark 的方式/时间。方法被调用。

周期性水印

带有周期性水印，Flink 调用 getCurrentWatermark()在 定期间隔 ，独立于事件流。这个间隔是使用定义的

ExecutionConfig.setAutoWatermarkInterval(millis)

当您的水印(甚至部分)依赖于处理时间时，或者当您需要发出水印时，即使有一段时间没有收到事件/元素，请使用此类。

标点水印

带标点水印，Flink 调用 checkAndGetWatermark() 在每个新事件上 ，即在调用 assignWatermark() 之后.只有在 checkAndGetWatermark 时才会发出实际的水印。返回大于最后一个水印的非空值。

这意味着如果您有一段时间没有收到任何新元素，则不会发出水印。

如果某些特殊元素充当表示事件时间进度的标记，并且当您想在某些事件中专门发出水印时，请使用此类。例如，您可以在传入流中使用标志来标记序列的结束。