python - 有效地递归文件目录，同时最小化 Python 中的内存使用

Question

我有大量文件，我想递归并执行 md5 校验和。

其中许多文件存储在多个物理磁盘上，但都安装在同一目录中:

/mnt/drive1/dir1/file.jpg
/mnt/drive2/dir1/file2.jpg    

如何在不将整个目录和文件结构加载到内存中的情况下通过/mnt 进行递归？

有没有办法用多线程来做到这一点？可能没有必要使用多个线程/进程递归遍历目录，但文件操作可能是 CPU 密集型操作，这将受益于多个 CPU 内核。

提前致谢。

Answer 1

为什么不使用简单的 os.walk？它不会占用大量内存。

import os
for root, dirs, files in os.walk('/mnt'):
    for name in files:
        print os.path.join(root, name)