azure - 从 DBFS 到 Azure Blob 存储的文件传输

Question

我需要传输以下dbfs文件系统路径中的文件:

%fs ls /FileStore/tables/26AS_report/customer_monthly_running_report/parts/

到下面的Azure Blob

dbutils.fs.ls("wasbs://"+blob.storage_account_container+"@"
  + blob.storage_account_name+".blob.core.windows.net/")

我应该遵循哪些系列步骤？请建议

Answer 1

最简单的方法是将数据加载到数据帧中，然后将该数据帧写入目标。

df = spark.read.format(format).load("dbfs://FileStore/tables/26AS_report/customer_monthly_running_report/parts/*")
df.write.format(format).save("wasbs://"+blob.storage_account_container+"@" + blob.storage_account_name+".blob.core.windows.net/")

您必须将“格式”替换为源文件格式和目标文件夹中所需的格式。

请记住，如果您不想对数据进行任何转换而只想移动数据，那么不使用 pyspark 而仅使用 az-copy 命令行工具很可能会更有效。如果需要，您还可以使用 %sh magic 命令在 Databricks 中运行它。