python - 不使用嵌套循环读取文件和文件夹

Question

我有超过 100,000 个文件分布在多个目录中，现在我可以使用嵌套的 for 循环读取每个文件的名称和路径，如下所示，

for root, dirs, files in os.walk('python/Lib/email'):
     for file in files:
        # some work here

是否有办法在不使用嵌套循环的情况下实现此目的？读取我们拥有的文件量所花费的时间比我们预期的要长

Answer 1

如果问题是打开 for then 后的附加循环:

import os

for fpath in (os.path.join(root, fname)
              for root, dirs, files
              in os.walk(R"python/Lib/email")
              for fname
              in files):
    pass  # do something with the path

可以通过多种方式减少执行时间，具体取决于您在“某些工作” block 中所做的事情。例如，如果您进行了大量额外的文件系统检查，则可以将 fpath 包装在 pathlib.Path() 中。

我建议使用 cProfile 模块来找出是什么导致代码变慢。