databricks - 如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地机器？

Question

我是 Databricks 的新手，我希望将已安装的 databricks 集群库下载到我的本地机器上。你能帮我解决这个问题吗？
所以详细说明我已经有一个正在运行的集群，其中已经安装了库。我需要将其中一些库(它们是 dbfs jar 文件)下载到我的本地机器上。我实际上一直在尝试通过 databricks-cli 使用 '''dbfs cp''' 命令，但这不起作用。它没有给出任何错误，但它也没有做任何事情。我希望能把事情弄清楚一点。

Answer 1

注:当您通过 Jars 安装库时, Maven , PyPI ，那些位于文件夹路径 dbfs:/FileStore .

对于位于 - dbfs:/FileStore/jars 的交互式集群 Jars

对于位于 - dbfs:/FileStore/job-jars 的自动化集群 Jars

有几种方法可以将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机。

GUI Method: You can use DBFS Explorer

DBFS Explorer 是为了快速上传和下载文件到 Databricks 文件系统 (DBFS) 而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。
您需要在 Web 界面中创建一个不记名 token 才能进行连接。
第一步:从这里下载 DBFS 资源管理器: https://datathirst.net/projects/dbfs-explorer并安装。
第二步:如何创建不记名 token ？

点击 用户个人资料图标 用户个人资料 在右上角
您的 Databricks 工作区。

点击用户设置 .

转至 访问 token 标签。

点击 生成新 token 按钮。

注:复制生成的 token 并存储在安全位置。

第三步:打开 Databricks 的 DBFS 资源管理器并输入 Host URL和 Bearer Token并继续。

第四步:导航到名为 FileStore => jars => 选择要下载的 jar 并单击下载并选择本地计算机上的文件夹的 DBFS 文件夹。

CLI Method: You can use Databricks CLI

第一步:安装 Databricks CLI ，使用您的 Databricks 凭据对其进行配置。
第二步:使用 CLI“dbfs cp”命令用于将文件复制到 DBFS 或从 DBFS 复制文件。
语法: dbfs cp <SOURCE> <DESTINATION> 示例: dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"