amazon-web-services - 已处理和未处理异常的 AWS CloudWatch Logs 指标

Question

我有一个有趣的 AWS CloudWatch Logs 场景。我目前使用 log4net 并使用 CloudWatch Logs 代理将所有日志泵入 CloudWatch Logs。我在 CloudWatch 中有一个指标，它基本上扫描 [ERROR] 条目，并且警报将它们传递给另一个服务以在它们发生时通知开发人员(阈值 >= 1，周期 - 1 分钟)。所有这些都运行良好。

现在我想以不同的方式处理某些错误。例如，基于异常类型，我只想在 N 分钟内发生 X 次事件时触发警报。所以在这种情况下，我会为这种情况创建一个指标，然后将其分配给警报。问题是在这个问题的第一部分中解释的一般错误度量仍在跟踪每个单独的错误发生。所以现在我收到了多个通知。每个错误一个，出现 X 次后一个。

我可以禁用一般错误指标，但我失去了跟踪未处理异常的能力。我必须为每个可能的异常设置一个度量标准。我错过了什么吗？处理此问题的最佳方法是什么？

Answer 1

您通常可以通过创建一个函数来处理这个问题，以便在您收到通知之前进行一些额外的处理。最简单的方法是将 AWS Lambda 函数订阅到您未处理的错误警报的 SNS 主题。取消订阅该主题，只有在满足您定义的任何条件后，lambda 函数才会通知您而不是 SNS。

对于这种情况，当您的聚合指标处于警报状态时，您似乎希望针对与您的聚合指标匹配的未处理错误抑制来自您个人指标的通知。

伪代码:

• 使用DescribeAlarms用于获取聚合未处理异常警报状态的 API。如果聚合警报处于“警报”状态，则继续。
• 使用FilterLogEvents获取日志事件匹配的API:
  • 您的日志组
  • 您的日志流
  • FilterPattern:您的个人未处理异常警报的指标过滤器
  • StartTime:警报时间戳 - 周期
  • EndTime:报警时间戳
• 使用GetLogEvents获取所有日志事件匹配的 API:
  • 您的日志组
  • 您的日志流
  • StartTime:警报时间戳 - 周期
  • EndTime:报警时间戳
• 如果“所有事件”计数与“过滤事件”计数匹配，并且聚合警报处于警报状态，则不发送通知。否则，使用 SES 或 SNS API 向您自己发送通知。

如果您想继续通过 SNS 收到通知，请不要重复使用警报用于触发 lambda 的同一主题——为您的移动/短信通知创建一个单独的主题。

---

我不确定这是否比 log4net 更容易，但如果您打算对日志进行这种后处理，最好将未处理的异常直接发送到 SNS，在 lambda 中进行后处理首先，然后从您的 lambda 函数写入 cloudwatch 日志。此更改将允许您通过 SNS 消息负载检查未处理的异常，并为您提供一些额外的控制来控制如何抑制重叠问题。