python - 将文件从 databricks 复制到 blob 存储会导致文件大小为 0

Question

我正在尝试使用以下命令将文件从 databricks 复制到 Blob 存储中的某个位置:

dbutils.fs.cp('dbfs:/FileStore/tables/data/conv_subset_april_2018.csv',"wasb://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="85e7e9eae7ebe4e8e0c5eaf0f1f5f0f1e6eaebf1e4ecebe0f7ebe4e8e0abe7e9eae7abe6eaf7e0abf2ecebe1eaf2f6abebe0f1" rel="noreferrer noopener nofollow">[email protected]</a>/" + "conv_subset_april_2018" + ".csv")

现在 blobname 和 outputcontainername 是正确的，并且我已将之前的文件复制到存储位置。仅今天，当我执行命令时，我得到的文件大小为 0。此外，文件 data.csv 确实存在于给定位置，并且不为空或损坏。有谁知道会发生什么？屏幕截图显示了我的意思。

Files of size 0

Answer 1

据我所知，有两种方法可以将文件从 Azure Databricks 复制到 Azure Blob 存储。请引用官方文档Azure Blob Storage Azure Databricks 主题数据源 了解更多详细信息。

下面是我的示例代码。

1. 要将 Azure Blob 存储容器作为 dbfs 路径装载到 Azure Databricks，您可以将 databricks 路径中的文件cp 到装载路径Blob 存储。请引用Mount Azure Blob Storage containers with DBFS .

   dbutils.fs.mount(
       source = "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net",
       mount_point = "/mnt/<mount-name>",
       extra_configs = {"fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net":"<your-storage-account-key>"})
   dbutils.fs.cp('dbfs:/FileStore/tables/data/conv_subset_april_2018.csv','dbfs:/mnt/<mount-name>/conv_subset_april_2018.csv')
   # Or dbutils.fs.cp('/FileStore/tables/data/conv_subset_april_2018.csv','/mnt/<mount-name>/conv_subset_april_2018.csv')
   

2. 设置帐户访问 key 或为容器设置 SAS，然后将文件从 dbfs 文件路径复制到 wasbs文件路径。

   spark.conf.set(
       "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net",
       "<your-storage-account-access-key>")
   # Or 
   # spark.conf.set(
   #     "fs.azure.sas.<your-container-name>.<your-storage-account-name>.blob.core.windows.net",
   #     "<complete-query-string-of-your-sas-for-the-container>")
   dbutils.fs.cp('/FileStore/tables/data/conv_subset_april_2018.csv','wasbs://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="aeccc2c1ccc0cfc3cbeec1dbdadedbdacdc1c0dacfc7c0cbdcc0cfc3cb80ccc2c1cc80cdc1dccb80d9c7c0cac1d9dd80c0cbda" rel="noreferrer noopener nofollow">[email protected]</a>//conv_subset_april_2018.csv')
   

希望有帮助。