azure - 每个管道而不是每个笔记本事件的 Databricks 作业集群

Question

我正在不同的 Databricks 笔记本中转换数据(从 ADLS 读取、转换和写入)。我在 DataFactory 管道中连接了这些笔记本:

Notebook 1 --> Notebook 2 --> Notebook 3 --> Notebook

然后，我从 DataFactory 创建了到 Databricks 的连接，并将其添加到我的笔记本事件中。我想在管道被触发时启动 Databricks 集群。总的来说，这一切都运行良好。但是 Databricks 为每个笔记本事件启动一个作业集群，这花费了太长时间，而且对我来说似乎没有必要。

是否可以在管道开始时启动集群，然后在所有笔记本完成后将其关闭？或者是否有任何观点认为为每个事件都有一个工作集群是件好事？

Answer 1

目前不可能对多个笔记本事件使用相同的作业集群。

两个替代选项:

1. 使用交互式集群
2. 使用交互式集群(如果注重成本)在开始时进行一个 Web 事件，通过 azure databricks REST 端点启动集群，并在笔记本事件结束后进行另一个 Web 事件 DELETE(TERMINATE)通过 REST 端点的集群

不幸的是，这两个选项都使用交互式集群 - 与作业集群相比，这有点昂贵。