java - 在谷歌数据流中实现撤回

Question

我阅读了“数据流模型:在大规模、无界、乱序数据处理中平衡正确性、延迟和成本的实用方法”一文。遗憾的是，SDK 尚未公开累积和收回触发模式(第 2.3 节)。

我想知道是否有获得相似语义的解决方法？

我一直在阅读源代码并发现 StateTag 或 StateNamespace 可能是我可以存储“窗口最后发出的值”的方式，因此可用于计算管道中的撤回消息。这是正确的路径还是我可以/应该查看的其他类/方法。

Answer 1

即将推出的状态 API 确实是您模拟撤回的最佳选择。您提到的那些类是状态 API 的一部分，但 com.google.cloud.dataflow.sdk.util 中的所有内容仅供内部使用；从技术上讲，我们不保证 API 不会发生重大变化，甚至不会保持未发布状态。也就是说，发布该 API 已在我们的路线图上，我希望我们能相对较快地发布它。

请记住一件事:自定义撤回的所有下游代码都需要能够将它们与正常记录区分开来。这是我们会在真正的撤回支持准备就绪后自动为您做的事情，但与此同时，您只需要确保您编写的所有可能收到撤回的代码都知道如何识别和处理它.