amazon-s3 - AWS : Ways of keeping cost down while backing up S3 files to Glacier?

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎不是关于 a specific programming problem, a software algorithm, or software tools primarily used by programmers 。如果您认为这个问题与 another Stack Exchange site 上的主题有关，您可以发表评论来解释问题可能在哪里得到解答。

已关闭 9 年前。

Improve this question

作为我们项目的一部分，我们在 S3 上创建了一个相当茂密的文件夹/文件树，所有文件占用了大约 6TB 的数据。我们目前没有此数据的备份，这很糟糕。我们想要定期备份。看来冰川是正确的选择。

问题是:有哪些方法可以降低备份的总成本？

我们的大多数文件都是文本，因此我们可以压缩它们并上传整个 ZIP 存档。这将需要处理(在 EC2 上)，因此我很好奇是否有任何经验法则可以比较运行 EC2 实例进行压缩与仅上传未压缩文件的额外成本。

此外，我们必须支付数据传输费用，所以我想知道除了 (i) 将文件从 S3 下载到实例之外是否有任何备份方法； (ii) 以原始形式上传文件或压缩至 Glacier。

Answer 1

我通常认为 Glacier 是 S3 的替代存储，而不是附加存储。也就是说，数据通常存储在 S3 或 Glacier 中，但很少同时存储在两者中。

如果您相信 S3 所宣传的 11 个 9 的持久性，那么您就不会进行备份，因为 S3 本身可能会丢失数据。

您可能想要备份数据，因为(就像我一样)您将您的亚马逊帐户视为单点故障(例如，凭证被泄露或亚马逊因为他们认为您正在做一些滥用行为而阻止您的帐户)。然而，在这种情况下，Glacier 并不是一个足够的备份，因为它仍然属于亚马逊的保护伞。

如果您担心由于用户错误、凭证泄露等原因丢失 S3 中的数据，我建议您在 Amazon 之外备份 S3 数据。

当您知道自己不需要太多访问数据(如果有的话)时，我建议使用 Glacier 作为长期、廉价存储的存档数据的地方。当事物转移到 Glacier 时，您可以从 S3 中删除它们。

亚马逊提供从 S3 到 Glacier 的自动归档，效果很好，但如果文件的平均大小很小，请注意额外的费用。这是我写的关于这种危险的文章:

Cost of Transitioning S3 Objects to Glacier
http://alestic.com/2012/12/s3-glacier-costs

如果您仍想从 S3 复制到 Glacier，以下是与您的问题相关的一些要点:

• 您可能会将数据留在 Glacier 中很长时间，因此压缩它可能值得短期使用 CPU。确切的权衡取决于数据的可压缩性、压缩所需的时间以及需要执行压缩的频率等因素。

• 将数据从 S3 下载到 EC2 实例是免费的。将数据上传到 Glacier 不收取数据传输费用。

• 如果您将许多小文件上传到 Glacier，则每个项目的上传费用可能会增加。您可以通过将许多小文件组合成一个存档并上传来节省成本。

另一个可以帮助防止因用户错误或攻击而导致意外丢失的 S3 功能是打开 S3 版本控制并启用 MFA(多重身份验证)。这可以防止任何人永久删除对象，除非他们拥有凭据以及您拥有的物理设备。