gpt4 book ai didi

azure - 使用 Databricks 将文件从 Azure 文件移动到 ADLS Gen 2 并返回

转载 作者:行者123 更新时间:2023-12-03 03:46:52 25 4
gpt4 key购买 nike

我有一个 Databricks 进程,当前会生成一堆文本文件,这些文件存储在 Azure 文件中。这些文件需要按计划移至 ADLS Gen 2,然后移回文件共享。

如何使用 Databricks 实现这一点?

最佳答案

安装 azure-storage 包并在 Azure Databricks 上使用适用于 Python 的 Azure 文件 SDK 是访问 Azure 文件中文件的唯一方法。

安装库:文件共享 azure-storage https://pypi.org/project/azure-storage-file-share/

注意: pip install 仅在驱动程序节点上安装软件包,因此必须首先加载 pandas。该库必须先部署为 Databricks 库,然后才能被 Spark 工作节点使用。

Python - 将文件从 Azure 文件加载到 Azure Databricks - Stack Overflow

替代方案可以使用复制事件通过 Azure DataFactory 将数据从 Azure 文件存储复制到 ADLS2:Copy data from/to Azure File Storage - Azure Data Factory & Azure Synapse | Microsoft Docs

关于azure - 使用 Databricks 将文件从 Azure 文件移动到 ADLS Gen 2 并返回,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68810733/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com