gpt4 book ai didi

apache-beam - Apache Beam 设置自定义事件时间戳和水印

转载 作者:行者123 更新时间:2023-12-04 17:41:16 26 4
gpt4 key购买 nike

我正在使用 Apache Beam 从 Kafka 读取数据。由于乱序写入 Kafka,我想使用有效负载中的事件时间戳而不是默认的 LogAppendTime。

我看到了一个解决方案 Apache Beam: Error assigning event time using Withtimestamp

我们如何定义水印?考虑到它应该是单调的。

在方法中

getWatermark(TimestampPolicy.PartitionContext ctx)

当事件延迟数小时时,我们如何确定水印。

这似乎是一种非常常见的乱序写入和事件时间窗口的情况。我没有看到太多关于如何做到这一点的文献。

最佳答案

您可以使用 ParDooutputWithTimestamp 从数据中提取时间戳,就像这里描述的那样 https://beam.apache.org/documentation/programming-guide/#adding-timestamps-to-a-pcollections-elements

关于apache-beam - Apache Beam 设置自定义事件时间戳和水印,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54395878/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com