amazon-web-services - 我的 AWS Cloudwatch 账单很大。我如何确定哪个日志流导致它？

Question

上个月，我从亚马逊收到了一张 1,200 美元的 Cloudwatch 服务发票(特别是“AmazonCloudWatch PutLogEvents”中的 2 TB 日志数据摄取)，当时我期待几十美元。我已经登录到 AWS 控制台的 Cloudwatch 部分，可以看到我的一个日志组使用了大约 2TB 的数据，但是该日志组中有数千个不同的日志流，我怎么知道哪个使用了该数量数据的？

Answer 1

在 CloudWatch 控制台上，使用 IncomingBytes 指标来查找特定时间段内每个日志组摄取的数据量(使用指标页面的未压缩字节数)。请按照以下步骤操作 -

转到 CloudWatch 指标页面，然后单击 AWS 命名空间“日志”-->“日志组指标”。

选择所需日志组的 IncomingBytes 指标，然后单击“Graphed metrics”选项卡以查看图表。

更改开始时间和结束时间，使其相差 30 天，并将期间更改为 30 天。这样，我们只会得到一个数据点。还将图表更改为数字，将统计信息更改为总和。

这样，您将看到每个日志组摄取的数据量，并了解哪个日志组摄取了多少。



您还可以使用 AWS CLI 获得相同的结果。在一个示例场景中，您只想知道日志组摄取的数据总量，例如 30 天，您可以使用 get-metric-statistics CLI 命令-

示例 CLI 命令 -

aws cloudwatch get-metric-statistics --metric-name IncomingBytes --start-time 2018-05-01T00:00:00Z --end-time 2018-05-30T23:59:59Z --period 2592000 --namespace AWS/Logs --statistics Sum --region us-east-1

样本输出 -

{
    "Datapoints": [
        {
            "Timestamp": "2018-05-01T00:00:00Z", 
            "Sum": 1686361672.0, 
            "Unit": "Bytes"
        }
    ], 
    "Label": "IncomingBytes"
}

要为特定日志组找到相同的内容，您可以更改命令以适应以下维度 -

aws cloudwatch get-metric-statistics --metric-name IncomingBytes --start-time 2018-05-01T00:00:00Z --end-time 2018-05-30T23:59:59Z --period 2592000 --namespace AWS/Logs --statistics Sum --region us-east-1 --dimensions Name=LogGroupName,Value=test1

您可以对所有日志组逐一运行此命令，并检查哪个日志组对摄取的数据负责大部分账单并采取纠正措施。

NOTE: Change the parameters specific to your environment and requirement.

OP 提供的解决方案提供了存储日志量的数据，这与摄取的日志量不同。

有什么不同？

每月摄取的数据与数据存储字节数不同。数据被摄取到 CloudWatch 后，由 CloudWatch 存档，其中每个日志事件包含 26 字节的元数据，并使用 gzip 6 级压缩进行压缩。因此，存储字节是指 Cloudwatch 用于在摄取日志后存储日志的存储空间。

引用: https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/get-metric-statistics.html