pyspark - databricks 如何为集群做 auto scaling

Question

我有一个 databricks 集群设置，可以自动扩展到 12 个节点。我经常观察到 databricks 将集群从 6 个扩展到 8 个，然后从 8 个扩展到 11 个，然后从 11 个扩展到 14 个节点。

所以我的查询 -1、为什么会一次捡到2-3个节点添加2. 为什么自动缩放被触发，因为我看到没有多少作业在集群上处于事件状态或处理繁重。 CPU 使用率非常低。3. auto scaling为什么让notebook处于等待状态
4. 为什么自动缩放最多需要 8-10 分钟

谢谢

我正在尝试调查为什么数据 block 在不需要时自动缩放集群

Answer 1

创建集群时，您可以为集群提供固定数量的工作人员，也可以为集群提供最小和最大数量的工作人员。

当您提供固定大小的集群时，Databricks 会确保您的集群具有指定数量的工作器。当您提供工作人员数量的范围时，Databricks 会选择运行您的作业所需的适当工作人员数量。这称为自动缩放。

通过自动缩放，Databricks 动态重新分配工作人员以考虑您的工作特征。管道的某些部分可能比其他部分的计算要求更高，Databricks 会在您工作的这些阶段自动添加额外的工作人员(并在不再需要时删除他们)。

自动缩放可以更轻松地实现高集群利用率，因为您无需配置集群来匹配工作负载。这尤其适用于要求随时间变化的工作负载(例如在一天中探索数据集)，但它也适用于配置要求未知的一次性较短工作负载。因此，自动缩放提供了两个优势

:

• 与固定大小的工作负载相比，工作负载可以运行得更快集群配置不足。
• 与静态大小的集群。

Databricks 提供两种集群节点自动缩放:标准和优化。

---

自动缩放的行为方式

自动缩放的行为会有所不同，具体取决于它是优化的还是标准的，以及是应用于交互式集群还是作业集群。

优化

1. 分两步从最小值扩展到最大值。
2. 即使集群不空闲，也可以通过查看 shuffle 进行缩减文件状态。
3. 根据当前节点的百分比进行缩减。
4. 在作业集群上，如果集群未充分利用，则缩减规模最后 40 秒。
5. 在交互式集群上，如果集群未得到充分利用，则缩减规模在过去的 150 秒内。

标准

1. 从添加 4 个节点开始。此后，呈指数增长，但可以采取许多步骤来达到最大值。
2. 仅当集群完全空闲且已被过去 10 分钟未得到充分利用。
3. 以指数方式缩小，从 1 个节点开始。