maven - %sh 命令通过 Databricks 中的 notebook 安装 maven 库

Question

在 Databricks 中安装库有不同的方法，例如使用 GUI、Databricks CLI 等。
我想知道是否可以通过 Notebook 中的“%sh”命令安装 Maven 库。例如，在 Notebook for Python 库中执行此操作的一种选择是:

dbutils.library.installPyPI()

对 Python 库使用 "%sh"的另一种选择可能是执行以下操作:

%sh
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc

Maven 库是否有相应的“%sh”命令，例如这样的:

%sh
mvn install --maven-coordinates "com.microsoft.azure.kusto:spark-kusto-connector:2.0.0"

Answer 1

不，没有这样的命令可以从笔记本内部执行，而且 %sh在这里没有帮助，因为此命令将仅在驱动程序节点上执行，而库(-ies)需要安装在集群的所有节点上。您可以通过以下替代方法将库安装到集群:

Specify maven coordinates创建集群后

在 workspace from Maven coordinates 创建库并将其附加到集群

安装库 using the init script这将在所有节点上执行 - 这对于 Python 或 R 库很方便，但对于 Maven 可能更难，因为您还需要拉取依赖项

通过 REST API 将库安装到现有集群

通过 libraries subcommand of Databricks CLI 将库安装到现有集群(它在后台使用 REST API)

使用 Databricks Terraform Provider 并定义 cluster或 job带图书馆