gpt4 book ai didi

java - 在谷歌数据流中实现撤回

转载 作者:行者123 更新时间:2023-11-29 03:03:15 24 4
gpt4 key购买 nike

我阅读了“数据流模型:在大规模、无界、乱序数据处理中平衡正确性、延迟和成本的实用方法”一文。遗憾的是,SDK 尚未公开累积和收回触发模式(第 2.3 节)。

我想知道是否有获得相似语义的解决方法?

我一直在阅读源代码并发现 StateTag 或 StateNamespace 可能是我可以存储“窗口最后发出的值”的方式,因此可用于计算管道中的撤回消息。这是正确的路径还是我可以/应该查看的其他类/方法。

最佳答案

即将推出的状态 API 确实是您模拟撤回的最佳选择。您提到的那些类是状态 API 的一部分,但 com.google.cloud.dataflow.sdk.util 中的所有内容仅供内部使用;从技术上讲,我们不保证 API 不会发生重大变化,甚至不会保持未发布状态。也就是说,发布该 API 已在我们的路线图上,我希望我们能相对较快地发布它。

请记住一件事:自定义撤回的所有下游代码都需要能够将它们与正常记录区分开来。这是我们会在真正的撤回支持准备就绪后自动为您做的事情,但与此同时,您只需要确保您编写的所有可能收到撤回的代码都知道如何识别和处理它.

关于java - 在谷歌数据流中实现撤回,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33593745/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com