amazon-web-services - S3 指标的巨大差异 - Cloudwatch 与 AWS S3 CLI 与 GUI 'Get Size'

Question

我有一个存储桶，它在 S3 管理控制台/CloudWatch 和 S3 命令行工具之间具有非常不同的总大小和对象数量指标。

S3 管理控制台指标屏幕

• BucketSizeBytes:标准存储:3.2TB
• 对象数量:172,000

S3 管理控制台 - 获取大小对话框

• 总大小:264.0 GiB
• 对象总数:127,030

云观察:

• BucketSizeBytes:3.55TB
• 对象数量:172,000

命令行工具

aws s3 ls --summarize --human-readable --recursive s3://mybucket.com

• 总大小:264.0 GiB
• 对象总数:127,030

命令行工具和 S3 管理控制台 - 获取大小对话框返回我所期望的。

我们根据高得多的 CloudWatch 统计数据进行计费。

如果它们很接近，我不会感到困扰，但 Cloudwatch 报告的 StorageSize 是 CLI 工具的近 15 倍。

S3 存储桶上没有复制。

有生命周期策略:

• 清理不完整的分段上传
• 将文件发送 +1 年到 Glacier
• 一年后永久删除以前的版本

版本控制已打开，但我很确定它没有被使用；即文件只上传过一次。我已经测试了几个随机文件来确认，它们都只有一个最新版本可用。我很乐意在存储桶设置中关闭它，但我知道这不会“删除”旧版本(如果它们存在的话)吗？

我也不认为这是因为 Glacier 存储的文件，因为我最近才设置此生命周期策略，并且在此之前存在大小不匹配。

鉴于 S3 管理控制台 UI > 概述 > 选择所有文件夹 > 操作 > 获取大小报告与 CLI 工具相同，264GB，我感到非常困惑。

因此，在 UI 中选择所有文件管理器/文件夹返回 264GB，但指标返回 3.2TB。

任何人都可以阐明这里发生了什么，以及我如何清理它!谢谢罗布

Answer 1

这是由 3TB 的旧版本文件引起的；但整个目录已被删除，因此未在 UI 中显示。

当我切换 UI 以显示版本时，已删除的文件夹出现，然后我可以在其中看到已删除文件的所有旧版本。

以下 CLI 语句帮助我确认它是由版本控制引起的:

aws s3api list-object-versions --bucket mybucker.com --query 'Versions[*].[Size,Size]' --output text  | awk '{s+=$1} END {printf "%.0f", s}'