Python/DBUtils/Databricks

Question

我是 Python 新手，需要 Databricks 方面的帮助。

我需要使用 Python 将文件从 Azure Blob 简单复制到 ADLS。

我需要 Python 文件中的代码，并且需要从 Databricks 而不是笔记本执行。

我尝试了以下方法，

使用spark.conf.set，我设置了Blob 和ADLS 的访问 key 。我使用 dbutils.fs.cp 来复制文件。

它的执行没有任何错误，但文件实际上没有复制到 ADLS。

如有任何帮助，我们将不胜感激。

谢谢

Answer 1

我可以使用 Databricks 实用程序命令 (dbuitls.fs.cp('Source', 'Destination)) 将文件从 Azure Blob 存储移动到 ADLS:

首先，我安装了名称为 (/mnt/chepra) 的 Azure Blob 存储帐户和名称为 (/mnt/flightdata) 的 ADLS Gen2 帐户。

Azure Blob 存储挂载: (/mnt/chepra)

Azure 数据湖存储 (/mnt/flightdata)

现在，您可以使用 databricks 实用程序命令从 Azure Blob 存储 cp 到 Azure Data Lake Storage，如下所示:

dbutils.fs.cp('/mnt/chepra/sales.csv', '/mnt/flightdata')

希望这有帮助。