Azure Functions 作为调度程序

Question

Azure 函数是 Azure 数据工厂用作调度程序的良好替代方案吗？它具有要监视的 blob 触发器，并且可以使用 C# 使用 API 来触发 databricks 作业。但这是一个可行的替代方案吗？

已编辑以添加更多信息。想要基于触发器文件触发 databricks 作业，但不想使用 Azure 数据工厂或 Data bricks 作业。

Answer 1

我可能会在 blob 存储事件 blob 创建事件上使用带有事件网格触发器的简单逻辑应用程序。根据触发器数据，我将调用 Databricks Job REST API。

我在 10 分钟内完成了下面的整个演示，因此设置速度很快。

在这个演示中我使用了

并将逻辑应用设置为触发器

我强烈建议添加前缀过滤器，例如

/blobServices/default/containers/<container_name>

因此，您不会从不同容器启动太多逻辑应用，因为事件网格会对整个存储帐户中的所有事件使用react。

HTTP 调用就像这样

当然，此时只需将集群列表更改为提交作业 REST 调用即可。

并查看执行情况

只需确保 EventGrid 资源提供程序已注册，否则逻辑应用将永远不会启动。