python - 如何在 python 中生成与操作系统无关的文件哈希？

Question

我正在尝试使用 python 中的 hashlib 库对文件进行哈希处理，方法是将其内容读取为 4096B 的二进制 block 。

问题在于它在 Windows 和 Mac 上为同一文件生成不同的哈希值。

更有趣的是，该文件存在于 git 存储库中，当从 Windows 和 Mac 推送到远程服务器时，它会为这两种情况生成不同的哈希值。

据我了解，Windows 中的行结尾为“\r\n”，而 Mac 中的行结尾为“\n”。

这是我们下面生成不同哈希值的代码。

def get_file_hash(file_path: str) -> str:
    hash_md5 = hashlib.md5()
    with open(file_path, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

作为快速修复，我们将 '\r\n' 替换为 '\n'

def get_file_hash(file_path: str) -> str:
    hash_md5 = hashlib.md5()
    with open(file_path, "r") as f:
        for chunk in f.readlines():
            encoded_chunk = chunk.encode("utf-8").replace(b"\r\n", b"\n")
            print(encoded_chunk)
            hash_md5.update(encoded_chunk)
    return hash_md5.hexdigest()

这是一种可靠的方法吗？

Answer 1

看起来您正在对文本文件进行哈希处理。尝试像这样以文本模式打开它们，然后在更新哈希之前对每一行进行编码:

import hashlib

def get_file_hash(file_path: str) -> str:
    hash_md5 = hashlib.md5()
    with open(file_path, "rt") as f:
        for line in f.readline():
            hash_md5.update(line.encode('utf-8'))
    return hash_md5.hexdigest()

print(get_file_hash('file.txt'))

Python 将换行符读取为通用 \n，因此这应该在任何平台上生成相同的哈希值。