security - 我可以使用 MD5 唯一标识多少数据(多少 MB)

Question

我有数百万条数据记录，每条记录的大小约为 2MB。这些数据中的每一个都存储在一个文件中，并且还有一组与该记录关联的其他数据(存储在数据库中)。

当我的程序运行时，我会在内存中看到其中一条数据记录，并且需要生成相关数据。为此，我想象获取内存的 MD5，然后使用此哈希作为数据库中的 key 。 key 将帮助我找到其他数据。

我需要知道的是，数据内容的 MD5 哈希值是否是唯一标识 2MB 数据的合适方法，这意味着我可以使用 MD5 哈希值而不必太担心冲突吗？

我意识到有可能发生碰撞，我担心的是数百万条 2MB 数据记录发生碰撞的可能性有多大？是否可能发生碰撞？与硬盘故障或其他计算机故障相比又如何呢？ MD5可以安全识别多少数据？数百万 GB 的文件呢？

我不担心恶意或数据篡改。我有保护措施，不会收到被操纵的数据。

Answer 1

这归结为所谓的 Birthday paradox .该维基百科页面具有用于评估碰撞概率的简化公式。这将是非常小的数字。

下一个问题是你如何处理 10^-12 碰撞概率 - 参见 this very similar question .