azure - 从存储帐户创建 Azure databricks 笔记本

Question

我们有 python 脚本存储在 blob 中的 Azure 存储帐户中。我们希望在 azure databricks 集群中部署/创建此 python 脚本(作为笔记本)，以便稍后我们可以运行 Azure 数据工厂管道，并且管道可以执行在 databricks 中创建/部署的笔记本。

我们只想在 Blob 中可用时创建/部署此脚本一次。

我尝试在网络上搜索，但找不到合适的解决方案。

是否可以从存储帐户部署/创建笔记本？如果是，怎么办？

谢谢。

Answer 1

您可以使用 URL 将笔记本导入 Databricks，但我希望您不会公开该笔记本。

另一个解决方案是将 azcopy 工具与 Databricks CLI 结合使用。 (workspace 子命令)。像这样的事情:

azcopy cp  "https://[account].blob.core.windows.net/[container]/[path/to/script.py" .
databricks workspace import -l PYTHON script.py '<location_on_databricks>'

您还可以完全在笔记本中完成此操作，将 dbutils.fs.cp 命令与 Databricks 的 Workspace REST API 结合起来。 ，但这可能会更复杂，因为您需要获取个人访问 token 、笔记本的 Base64 等。