Azure 突触 : Upload directory of py files in Spark job reference files

Question

我尝试传递 Azure Synapse Spark 作业定义中的主 python 文件中引用的整个 python 文件目录，但这些文件没有出现在该位置，并且出现“找不到模块”错误。尝试像这样上传:

abfss://[数据湖中的目录路径]/*

Answer 1

您必须通过导出 Spark 作业定义、将其编辑为 JSON，然后将其导入回来来欺骗 Spark 作业定义。

导出后，在文本编辑器中打开并添加以下内容:

"conf": {
  "spark.submit.pyFiles": 
    "path-to-abfss/module1.zip, path-to-abfss/module2.zip"
},

现在，导入 JSON。