elasticsearch - 如何在grafana中处理指标并警告生成和使用的消息

Question

我在创建指标时遇到问题，后来又基于该指标触发警报。我有两个数据源，都属于elasticsearch。一个包含说明消息是向kafka生成的文档(来自服务的日志)，第二个包含说明消息已被消耗的文档(也来自服务的日志)。我要实现的是，如果生产的消息与消耗的消息的比率低于1，则触发警报。

不幸的是，由于以下两个原因，无法使用普罗米修斯:
1)每次重新启动服务时，计数器都会重置。
2)第二服务没有(也不会在合理的时间内)普罗米修斯整合。

问题是如何根据该数据源处理指标和警报？可能吗？也许还有其他方法可以实现我的目标？

Answer 1

这个问题有点笼统(通常不提供映射或代码)，所以我将提供一种方法。

您可以在将要创建的聚合上使用watcher。
创建一定百分比的消费/生产是相对简单的，并且可以基于该百分比通过观察者触发警报。

看一看this tutorial(官方elasticsearch channel )，了解如何执行此操作。此外，请查看针对您的Elasticsearch特定版本的教程。从5.x到7.x的设置警报已得到显着改进(这意味着对于7.x，您可能可以通过kibana的UI进行此操作，但是对于5.x，您可能需要通过以下方式添加警报在适当的索引中将json索引.watcher)

我没有使用grafana，但我相信可以应用相同的方法。您将需要如前所述的聚合，然后添加警报https://grafana.com/docs/grafana/latest/alerting/rules/