apache-nifi - NiFi - 失败时停止

Question

我一直在尝试 google 和搜索堆栈以寻找答案，但一直找不到。

使用 NiFi，是否可以在之前的作业失败时停止进程？

我们有需要处理的用户数据，但数据是按顺序构造的，因此如果作业失败，我们需要停止运行其他作业。

我知道我们可以创建脚本以在先前的进程失败时使进程失败，但是如果我需要整个组在失败时停止，这可能吗？我们不希望队列中的每个作业都遵循故障路径，我们希望它停止，直到我们可以查看数据并分析故障。

TL;DR - 我们能否在失败时停止进程，而不仅仅是将所有剩余的作业汇集到失败流中。我们希望队列中的数据等到我们修复，从而停止进程，而不是一次又一次地失败。

感谢您的任何反馈，干杯!

编辑:错别字

Answer 1

您可以在队列上配置背压以停止上游进程。如果您将故障队列的背压阈值设置为 1，它将有效地停止处理器，直到您有机会解决故障。

屏幕截图显示故障路由回处理器，但这不是必需的。在您采取行动之前，下一个处理器不应将其从队列中移除以维持背压，这一点很重要。