hash - 如何计算 1 TB 及以上文件的哈希值？

Question

所以，我有几个大约 1 TB 的系统备份镜像文件，我想快速计算它们每个的哈希值(最好是 SHA-1)。

一开始我尝试计算 md5 哈希值，2 小时过去了，哈希值还没有计算出来(对于高达 1TB 的大文件来说这是显而易见的)。

那么有没有可以快速哈希 1TB 文件的程序/实现？

我听说过 Tree-Hashing 可以同时对文件的各个部分进行哈希处理，但到目前为止我还没有找到任何实现。

Answer 1

如果您有一个 100 万 MB 的文件，并且您的系统可以以 100MB/s 的速度读取该文件，那么

• 1TB * 1000(TB/GB) = 1000 GB
• 1000GB * 1000(MB/GB) = 100 万MB
• 100 万 MB/100(MB/s) = 1 万秒
• 10000 秒/3600(秒/小时)= 2.77...小时
• 因此，即使在计算哈希可能需要额外的总时间之前，100MB/s 的系统也需要 2.77... 小时的硬底时间来读取文件。

您的期望可能不切实际 - 在可以执行更快的文件读取之前，不要尝试计算更快的哈希值。