python - 如何使用 Azure Databricks 事件在 Azure 数据工厂中执行 python Wheel 类/方法(不是脚本)？

Question

是否可以使用 Azure Databricks 事件在 Azure 数据工厂中执行 python Wheel 类/方法(不是脚本)，就像您在 .jar 中执行 java 打包方法一样？与脚本不同，这将能够返回一个值，而无需执行诸如将它们埋入标准输出之类的操作。

我无法搜索任何内容，我尝试使用 jar 事件，但没有成功，这并不让我感到惊讶，但值得一试。

如果没有，我正在寻找一种使用 Azure Databricks 计算并从 python 作业返回一小组值的方法。我已经成功地将 ADF 事件用于数据 block python 脚本。

TIA!

Answer 1

是的。将 wheel 添加为集群上的库。然后创建一个导入库并调用所需方法的 .py 文件。将 py 文件保存到 dbfs 卷上。

创建一个使用 python 任务的数据工厂管道，并将其指向您的 py 文件。您也可以传入参数。

您也可以使用导入库的笔记本来执行此操作。

这篇博文(及其所在的系列)应该对 https://datathirst.net/blog/2019/9/20/building-pyspark-applications-as-a-wheel 有所帮助