azure - 使用 dbutils.fs.mv 的 Databricks 并行 mv 文件

Question

我有 azure 存储帐户，并且在单个文件夹中有一些文件(超过数百万个文件)。我想使用 dbutils.fs.mv 到另一个文件夹。最快的方法是什么？

Answer 1

您可以尝试以下方法。

1. azcopy正如@Kombajn zbożowy建议的.

   使用下面的示例代码。

   azcopy copy "https://rakeshgen2.blob.core.windows.net/mysource2/<SAS Key>" "https://rakeshgen2.blob.core.windows.net/targetdata/<SAS Key>" --recursive=true
   

   

   目标文件:

   

   你可以通过这个link了解有关 azcopy 性能的更多信息。

2. 挂载后即可使用dbutils.fs.mv或dbutils.fs.cp。

   示例:

   try:
      dbutils.fs.mv("/mnt/mysource2/","/mnt/targetadb",recurse=True)
   except:
      pass
   

   

3. Copy activity如果您的结构中没有递归文件夹，也可能适合您。

   浏览Documentation了解复制 liveness 能和速度。