python - 直接从 Azure 数据工厂执行 Egg

Question

问题

如何从 Azure 数据工厂 (AD) 管道执行 Egg 文件？ 目前我只能从执行 Egg 文件的位置调用 Databricks 笔记本。有什么办法可以直接做到这一点吗？

已经做了什么

已关注 this answer ，我得到以下异常:

{
    "errorCode": "3201",
    "message": "Must specify one jar or maven library for jar task, either via jar_uri or libraries.",
    "failureType": "UserError",
    "target": "Execute Egg",
    "details": []
}

代码和结构

在我的本地计算机上，我可以执行python dist/hello_world-1.0-py2.7.egg，这将打印'Hello world!'

src
 |-__init__.py
 |-main.py
__main__.py
setup.py

setup.py

from setuptools import setup, find_packages

setup(
    name='hello-world',
    version='1.0',
    packages=find_packages(),
    py_modules=['__main__']
)

__main__.py

from src.main import run

if __name__ == '__main__':
    run()

src/main.py

def run():
    print('Hello world!')


if __name__ == '__main__':
    run()

Answer 1

您似乎在 Azure 数据工厂中选择了 Jar 事件，而不是 Python 事件。

在 Jar 事件中，“主类名称”期望包含要执行的 main 方法的类的全名。此类必须包含在作为库提供的 JAR 中。

如果您选择Python事件，您可以指定Python文件名并上传您的egg库。

您可以在这里找到更多详细信息: https://learn.microsoft.com/en-us/azure/data-factory/transform-data-databricks-python