python - 在 Python 中获取文件的哈希值(摘要)——一次读取整个文件与逐行读取

Question

我需要用 Python 获取文件的哈希(摘要)。

一般来说，在处理任何文件内容时，由于内存问题，建议逐行逐渐处理，但我需要加载整个文件才能获得其摘要。

目前我是这样获取hash的:

import hashlib

def get_hash(f_path, mode='md5'):
    h = hashlib.new(mode)
    with open(f_path, 'rb') as file:
        data = file.read()
    h.update(data)
    digest = h.hexdigest()
    return digest

有没有其他方法可以以更优化或更简洁的方式执行此操作？

在仍然必须加载整个文件以计算哈希值的情况下，逐行逐行读取文件是否比一次读取整个文件有任何显着改进？

Answer 1

根据 hashlib.update() 的文档，您无需担心不同哈希算法的 block 大小。但是，我会测试一下。但是，好像查了一下，512是MD5的 block 大小，如果改成别的，结果和一次读完一样。

import hashlib

def get_hash(f_path, mode='md5'):
    h = hashlib.new(mode)
    with open(f_path, 'rb') as file:
        data = file.read()
    h.update(data)
    digest = h.hexdigest()
    return digest

def get_hash_memory_optimized(f_path, mode='md5'):
    h = hashlib.new(mode)
    with open(f_path, 'rb') as file:
        block = file.read(512)
        while block:
            h.update(block)
            block = file.read(512)

    return h.hexdigest()

digest = get_hash('large_bin_file')
print(digest)

digest = get_hash_memory_optimized('large_bin_file')
print(digest)

> bcf32baa9b05ca3573bf568964f34164
> bcf32baa9b05ca3573bf568964f34164