python - 如何基于完成Python脚本触发Azure数据工厂？

Question

我的流程:我使用 Python 脚本从多个本地数据源中提取数据，并将其加载到 Azure Blob 存储(原始数据)中。之后，我将执行一些 ETL 操作并在 PowerBI 中使用该结果。

我想要实现的目标:目前，我能够通过 Azure 数据工厂中的计划触发器执行 ETL 操作。但是，我不想“浪费”时间，我希望在 Python 脚本完成时触发 ETL。

示例::Python 脚本在早上 8 点完成。为了获得一定的利润，数据工厂的运行时间安排在早上 8.30。这是我正在寻找一些优化的部分，以便数据工厂运行可以在 Python 脚本完成后自动启动。

(仅供引用:之后，当 ETL 操作完成时，PowerBI 报告会自动刷新)

使用这些工具: Microsoft Azure 数据工厂或 Microsoft Azure Synapse Analytics 或 Python？

您的建议？

非常感谢，亲切的问候

Answer 1

您可以尝试以下两种方法。

• 使用存储事件触发器:
  
  在 Blob 存储中创建新容器。在 python 代码结束时，尝试将小文本或任何类型的文件上传到此容器。向您的 ETL 管道添加此容器的存储事件触发器。因此，每次完成 python 脚本时，它都会将小文件上传到该容器，从而触发 ADF 中的 ETL 管道。
  
  

• 为 Python 脚本使用自定义事件:
  
  使用 ADF 中的自定义事件来执行 Python 脚本。然后，将 ETL 管道的执行管道事件添加到自定义事件。自定义事件将执行您的代码，完成后执行管道事件将执行您的 ETL 管道。
  请引用此material来自 Deepak Goyal 的 azurelib，了解如何使用 ADF 中的自定义事件执行 Python 脚本。
  

注意:仅当您在 Azure 中的任何位置使用 python 脚本访问本地文件时没有任何问题时，才使用自定义事件方法。