azure - 当 blob 更改时触发 Azure databricks

Question

我正在使用 Azure databricks 中的 Spark 解析 Azure Blob 存储中的文件。该 blob 作为 dbfs 挂载。现在我正在笔记本上使用硬编码文件名(dbfs 文件名)进行操作。但我想在创建新的 blob 时使用新的 dbfs 名称触发笔记本。我检查使用 Azure 函数我可以获得一个 blob 触发器。我可以从 Azure 函数启动 databricks 笔记本/作业吗？对 blob 的操作需要相当长的时间。在这种情况下是否建议使用 azure 函数？或者有其他方法可以实现这一点。

Answer 1

正如 Parth Deb 所说，使用 azure datafactory 会更容易满足您的要求。

您只需创建管道的触发器，然后基于“创建的 blob”创建事件触发器即可触发 databricks 事件。您只需要传递参数即可。

这是工厂内置的函数，可以查看文档:

https://learn.microsoft.com/en-us/azure/data-factory/concepts-pipelines-activities

https://learn.microsoft.com/en-us/azure/data-factory/transform-data-databricks-notebook

https://learn.microsoft.com/en-us/azure/data-factory/how-to-expression-language-functions

你可以看看上面的文档。最后基本上只需要一些鼠标操作即可。