pyspark - 如何从 Azure 数据工厂运行 python egg(存在于 azure databricks 中)？

Question

所以我创建了一个小的 pyspark 应用程序并将其转换为一个鸡蛋。将其上传到 dbfs:/FileStore/jar/xyz.egg。在 ADF 中，我使用了 jar 事件。但是在主类名称文本框中，我很困惑要提供什么。

我的 Pycharm 应用程序有三个文件，其中两个基本上是实用程序文件，其中包含我调用的实用程序函数，主文件的内容是:

主文件

from CommonUtils import appendZeros
from sampleProgram import writedf


def main():
    appendZeros('zzz')
    writedf()


if __name__ == "__main__":
    main()

现在在“主类名”文本框中指定什么？

Answer 1

注: Main Class Name 是“包含要执行的 main 方法的类的全名。此类必须包含在作为库提供的 JAR 中。”

下表描述了 JSON 定义中使用的 JSON 属性:



引用:“Transform data by running a Jar activity in Azure Databricks”。

希望这可以帮助。

如果这回答了您的查询，请点击“标记为答案”和“投票”。而且，如果您有任何进一步的疑问，请告诉我们。