python - 如何在 Azure 数据工厂中集成 Python 代码

Question

我的 Azure 数据工厂中有一个文本分隔文件。我必须将其转换为 json 文件。我还有一个 python 代码，可以将文本分隔文件转换为 json 文件。现在我如何将此 python 代码集成到 azure 数据工厂中。如何从 ADF 运行此代码？

Answer 1

您可以使用 Azure 数据工厂数据流进行大量转换，例如 csv 到 JSON，而无需使用 Python(请参阅此答案:Convert csv files,text files,pdf files into json using Azure Data Factory)。

如果需要 Python 提供的控制，可以使用 Azure Batch 来运行 python 文件。在 python 中，您可以使用 blob_client.download_blob() 从 blob 中获取 csv，将其保存到批处理虚拟机上的本地文件中。然后您可以正常加载文件(pd.read_csv())并进行转换。在本地编写 json 文件后，您可以上传回 blob，然后执行您想要的任何其他 ADF 操作。我使用这组指令开始运行 Azure Batch python:https://learn.microsoft.com/en-us/azure/batch/quick-run-python