gpt4 book ai didi

google-cloud-platform - Dataflow/Apache Beam 在哪个阶段确认发布/订阅消息?

转载 作者:行者123 更新时间:2023-12-01 00:23:32 30 4
gpt4 key购买 nike

我有一个数据流流作业,将 Pub/Sub 订阅作为无限源。我想知道数据流在哪个阶段确认传入的发布/订阅消息。在我看来,如果在数据流管道的任何阶段抛出异常,消息就会丢失。

此外,我想知道如何使用发布/订阅无界源编写数据流管道以在失败时进行消息检索的最佳实践。谢谢!

最佳答案

在捆绑包成功并且捆绑包的结果(输出和状态更改等)已持久提交后,数据流流运行器确认捆绑包收到的发布订阅消息。失败的包会重试直到成功,并且不会导致数据丢失。如果您认为可能会发生数据丢失,请提供详细信息(作业 ID 和导致您得出数据因故障而丢失的结论),我们将进行调查。

关于google-cloud-platform - Dataflow/Apache Beam 在哪个阶段确认发布/订阅消息?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46721532/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com