Python将大量小文件读入内存的最快方法？

Question

我正在尝试读取存储在磁盘上的数千个 html 文件。

有什么办法比;

for files in os.listdir('.'):
    if files.endswith('.html') :
        with (open) files as f:
            a=f.read()
            #do more stuffs

Answer 1

对于类似的问题，我使用了这段简单的代码:

import glob
for file in glob.iglob("*.html"):
    with open(file) as f:
        a = f.read()

iglob不会同时存储所有文件，这对于一个巨大的目录来说是完美的。
请记住在完成后关闭文件，构造 "with-open"为您确定。