gpt4 book ai didi

apache-kafka - Kafka Connect - 如何让失败的任务以新的配置重新启动

转载 作者:行者123 更新时间:2023-12-04 17:22:41 25 4
gpt4 key购买 nike

每当我们重新启动一个失败的任务时,它总是会选择失败时的配置,然后运行......然后它会选择新的配置......并运行它。
我们有暂停、更新配置然后恢复的连接作业。这工作正常,除非任务失败。
如果我们重新启动失败的任务,即使连接器具有更新的配置,该任务也将使用旧配置启动.. 运行至完成/失败.. 然后将使用新配置启动新任务。
这可能会导致各种数据/等问题。如果您真的不希望使用该配置运行旧任务。
任何想法如何重新启动具有失败任务的连接器......使用新配置......而不是调用旧配置?
(运行 Kafka v2.5,顺便说一句)

最佳答案

我不知道获取最新配置的任务是否有意义。
例如,假设您的连接器启动 10 个不同的任务,其中 1 个失败。让连接器的其余 9 个任务使用较旧的配置运行是没有意义的,而失败的任务在重新启动后运行最新的配置。

我想说,如果您想在任务失败时使用新的/不同的配置文件,使用 restart the connector 可能更有意义。而不是单个任务:

POST /connectors/connector-name/restart HTTP/1.1

关于apache-kafka - Kafka Connect - 如何让失败的任务以新的配置重新启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65256449/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com