azure - 当管道需要超过 N 分钟才能完成时，如何为 Azure 数据工厂设置警报

Question

如果我的 Azure Datafactory 管道运行超过 20 分钟，我需要设置警报系统。警报应在管道运行时且持续时间超过 20 分钟时发出，而不是在管道完成后发出。我怎样才能做到这一点？我认为这可以使用 Azure 函数来完成，但我不熟悉它，所以我正在寻找相同的脚本。

Answer 1

是的，azure function 是实现您的要求的解决方案。

例如，如果您使用的是 Python。您需要一个定期运行的 azure 函数来监视管道的状态。关键是管道的持续时间。管道基于事件。您可以监控每项事件。

在 Python 中，这是获取所需事件的方法:

https://learn.microsoft.com/en-us/python/api/azure-mgmt-datafactory/azure.mgmt.datafactory.operations.activityrunsoperations?view=azure-python#query-by-pipeline-run-resource-group-name--factory-name--run-id--filter-parameters--custom-headers-none--raw-false----operation-config-

以下是获取azure datafactory事件的持续时间:

https://learn.microsoft.com/en-us/python/api/azure-mgmt-datafactory/azure.mgmt.datafactory.models.activityrun?view=azure-python#variables

(有一个名为duration_in_ms的变量，您可以使用它来获取事件运行的持续时间。)

这是使用Python来监控管道:

https://learn.microsoft.com/en-us/azure/data-factory/monitor-programmatically#python

您可以使用时间触发器创建一个 azure 函数应用来监视 azure datafactory 事件。这是azure函数timetrigger的文档:

https://learn.microsoft.com/en-us/azure/azure-functions/functions-bindings-timer?tabs=python

基本思想是将监控管道是否运行超过N分钟的代码放在azure函数timetrigger的逻辑体中。然后通过azure函数的状态来反射(reflect)azure datafactory的pipeline运行时间是否超过N小时。

然后使用azure函数的alarm事件。 azure 支持的 azure 函数的警报事件如下:(您可以设置 azure 函数的输出绑定(bind)。)

在 Azure 门户中，您可以在以下位置找到警报:

(选择电子邮件/短信作为操作类型并为其提供您的电子邮件地址。)