apache-spark - 如何在笔记本外使用 DataBricks dbutils jar？

Question

DataBricks dbutils 库需要在 eclipse 或任何其他 IDE 中使用。像 dbutils.secrets.get 这样的方法在笔记本之外的 SecretUtil API 中不可用。在这种情况下，我们可以使用 com.databricks jar

Answer 1

这是 DataBricks dbutils 库的 Maven Repo

<dependency>
<groupId>com.databricks</groupId>
<artifactId>dbutils-api_2.11</artifactId>
<version>0.0.3</version>

在您的代码中添加此导入后

import com.databricks.dbutils_v1.DBUtilsHolder.dbutils

这是我们在 DataBricks notebook 中使用的 dbutils。你可以像这样使用它

dbutils.secrets.get(scope, name)