azure - 自动重新运行失败的 ADF 管道

Question

我在 Azure 数据工厂中有多个管道，它们从 API 获取数据，然后将其推送到数据湖。如果其中一条管道发生故障，我会收到警报。然后，我转到 ADF 实例并手动重新运行失败的管道。我正在尝试想出一种自动重新运行管道的方法，以防管道失败。任何建议或指导都会有所帮助。想到了 Azure 逻辑应用程序或 powerautomate，但结果发现其中没有正确的操作来触发失败的管道。

Answer 1

如果可以修改管道设计，则可以采用一种方法

1. 设置参数pMax_rerun_count(这是为了确保管道不会进入无限循环)
2. 设置 2 个变量:(2.a) Pipeline_status 默认值:失败(2.b) Max_loop_count默认值:0；这是为了确保管道不会循环运行。可以在管道运行期间设置该值，以将最大允许重试计数(即 pMax_rerun_count)作为管道中的参数传递
3. 所有事件都应位于具有表达式的 Untill 事件内 or(equals(Pipeline_status,'Success'),equals(pMax_rerun_count,Max_loop_count)
4. Till 事件中的第一个事件是设置变量事件，它会增加变量的值Max_loop_count 减 1。
5. Till 事件中的最终事件是“设置变量”事件，将 Pipeline_status 设置为“Success”

这里的目的是在直到 block 内运行所有预期事件，直到管道中的预期事件成功完成。 pMax_rerun_count是为了确保管道不会进入无限循环。

如果所有管道在发生故障时都需要重新运行，则可以将此设置视为一个框架