curl - Databricks:将 dbfs:/FileStore 文件下载到我的本地机器？

Question

我正在使用 saveAsTextFile() 将 Spark 作业的结果存储在文件夹 dbfs:/FileStore/my_result 中。

我可以使用 Web 浏览器访问不同的“part-xxxxx”文件，但我想自动化将所有文件下载到本地计算机的过程。

我尝试使用 cURL，但找不到 RestAPI 命令来下载 dbfs:/FileStore 文件。

问题:如何将 dbfs:/FileStore 文件下载到我的本地计算机？

我正在使用 Databricks 社区版在大学教授大数据分析的本科模块。我的本地机器上安装了 Windows 7。我已检查 cURL 和 _netrc 文件是否已正确安装和配置，因为我设法成功运行了 RestAPI 提供的一些命令。

非常感谢您的帮助!
此致，
纳乔

Answer 1

有几个选项可以将 FileStore 文件下载到本地计算机。

更简单的选择:

安装 Databricks CLI ，使用您的 Databricks 凭据对其进行配置，然后使用 CLI 的 dbfs cp命令。例如:dbfs cp dbfs:/FileStore/test.txt ./test.txt .如果要下载整个文件夹的文件，可以使用 dbfs cp -r .

从登录到 Databricks 的浏览器，导航到 https://<YOUR_DATABRICKS_INSTANCE_NAME>.cloud.databricks.com/files/ .如果您使用的是 Databricks 社区版，那么您可能需要使用稍微不同的路径。此下载方法在 FileStore docs 中有更详细的描述。 .

高级选项:

使用 DBFS REST API .您可以使用 read 访问文件内容API 调用。要下载大文件，您可能需要发出多个 read调用访问完整文件的块。