azure - 如何在 Azure Devops 中进行 Databricks Notebook 的 CICD？

Question

我想对我的 Databricks Notebook 进行 CICD。我遵循的步骤。

1. 我已将 Databricks 与 Azure Repos 集成。
2. 使用 YAML 脚本创建了一个构建工件，该脚本将保存我的笔记本。
3. 已将构建工件部署到 YAML 中的 Databricks 工作区中。

现在我想要

1. 从 Azure DevOps 管道本身执行和安排 Databricks 笔记本。
2. 如何使用 YAML 设置多个环境，例如 Stage、Dev 和 Prod。
3. 我的笔记本本身调用其他笔记本。我可以这样做吗？

我该如何解决这个问题？

Answer 1

这是可行的，并且使用 Databricks Repos，您确实不需要创建构建工件并部署它 - 最好使用 Repos API 或 databricks repos 来更新将用于测试的另一个结账.

对于笔记本电脑的测试，我始终建议使用 Nutter library来自 Microsoft 的，通过允许从命令行触发笔记本的执行来简化笔记本的测试。

您可以使用 %run 指令包含其他笔记本 - 使用 relative paths instead of absolute paths 很重要。您可以将 dev/staging/prod 组织为存储库内的文件夹，也可以组织为完全独立的环境 - 这取决于您。

我有一个demo of notebooks testing & Repos integration with CI/CD - 它包含如何设置 dev/staging/prod + Azure DevOps 管道的所有必要说明，用于测试笔记本和触发发布管道。

我想明确提及的唯一一件事 - 对于 Azure DevOps，您将需要使用 Azure DevOps 个人访问 token ，因为身份传递尚不适用于 API。