databricks - 以编程方式将库导入到 Databricks 中的工作区

Question

我想以编程方式将(Python Wheel)库添加到 /Shared Databricks 上的工作区。在 GUI(工作区 > 导入 > 库)中很容易做到，但我无法弄清楚如何在 Databricks CLI 中做到这一点。

所以我认为我有两种可能的策略:

将其安装为库

将其作为文件复制到工作区

似乎 1) 不可行，因为库术语专用于集群上的实际安装，而 2) 不可行，因为 workspace import需要语言(Python、R、SQL 等)，并将文件解释为脚本。

所以我对如何解决这个问题有点迷茫。

Answer 1

根据我的观察:

注: databricks workspace import “将文件从本地导入到 Databricks 工作区。”

我试过 databricks workspace import cmdlet 并理解它复制为文件。

How to install a library using Azure Databricks CLI?

使用 DBFS CLI 将库从本地目录复制到 DBFS:

databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars

使用 API 或 UI 创建集群。

使用 databricks clusters list 获取集群 ID并复制集群 ID。

使用 DBFS CLI 将 DBFS 中的库附加到集群:

databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"

使用 Azure Databricks CLI 成功安装了一个库:



希望这可以帮助。