Azure:达到最大工作人员数量时创建警报

Question

在 Azure 中，我启用了 Databricks 工作区的所有诊断日志。我查看了所有表格，特别是 DatabricksClusters 和 Usage，但是，我没有找到任何条目可以帮助我在达到最大工作人员数量时创建警报。我想监控 databricks 以了解何时必须增加工作人员上限/SKU。

Answer 1

有几种方法可以实现:

1. 将诊断日志与 Log Analytics 结合使用。诊断日志包括cluster events我们可以从中使用 resize 和 resizeResult 字段。 resize 主要由 DLT 管道使用，对于所有其他集群，我们需要使用 resizeResult 事件，其中包含包含分配的工作线程数量的 clusterWorkers 字段调整大小后。这种方法的主要问题是该事件不包含有关 max_workers 字段的信息，因此您需要以某种方式加入 create 和 edit事件来获取最大工作线程数，但是如果很久以前对集群配置进行了更改，并且日志分析中没有保留任何信息，这可能会出现问题。

2. 最近 Databricks 开始公开预览 so-called system tables它包含与诊断日志中相同的信息(并且即将推出更多表)，但它的存储时间更长，因此更容易将 resizeResult 等事件与集群​​信息连接起来。然后你可以使用Databricks SQL Alerts发送通知。您可以在 recent blog post 中找到有关通知的系统使用情况的更多信息。它还包含可重用的查询等。

3. 设置项目 Overwatch它整合了诊断日志+集群日志+一些其他信息，以更好地了解工作区和各个集群中发生的情况。但《守望先锋》正在慢慢被系统表取代。