amazon-s3 - 将许多 S3 存储桶移动到 Glacier

Question

我们有大量的 S3 存储桶，并且正在清理这些东西。我们将 Glacier 确定为存档其数据的好方法。计划是存储这些桶的内容，然后删除它们。这将是一次性操作，我们不需要自动化的东西。

我知道:

• 如果有一天我们想要恢复某个存储桶名称，它可能不再可用
• 每个文件有大约 40kb 的索引开销，这使得它对于小文件来说不是一个经济高效的解决方案，最好使用不经常访问存储类或压缩内容

我试了一下并创建了一个保险库。但是我无法运行 aws glacier 命令。我收到一些显然与 Python 库有关的 SSL 错误，无论我是在我的 Mac 上还是从某个专用容器运行它。

此外，直接使用 Glacier API(并保留正确的文件信息)似乎很痛苦，而且通过专用存储桶使用它更简单。

那个呢？在 AWS 中有什么东西可以做我想做的事吗？或者有什么建议可以用一种不太挑剔的方式来做吗？您会推荐什么工具？

Answer 1

哇，这么多问题!

有两种使用 Amazon Glacier 的方法:

• 创建 Lifecycle Policy 在 Amazon S3 存储桶上将数据存档到 Glacier。这些对象仍将显示在 S3 中，包括它们的安全性、大小、元数据等。但是，它们的内容存储在 Glacier 中。通过此方法存储在 Glacier 中的数据必须恢复回 S3 才能访问内容。
• 通过 AWS API 将数据直接发送到 Amazon Glacier。以这种方式发送的数据必须通过 API 恢复。

Amazon Glacier 对存储量收费，加上每个请求。在 Glacier 中存储许多小文件效率较低。相反，建议创建更少、更大的文件的文件(例如zip 文件)。这会使检索特定文件变得更加困难。

如果您打算直接使用 Glacier，使用实用程序会更容易，例如 Cloudberry Backup ，但是这些实用程序旨在从计算机备份到 Glacier。他们可能不会将 S3 备份到 Glacier。

如果数据已经在 Amazon S3 中，最简单的选择是创建生命周期策略。然后您可以使用 S3 管理控制台和标准 S3 工具来访问和恢复数据。