python - 检查多个文件是否存在的最快方法

Question

python 中检查数百万个文件路径是否存在、识别不存在的路径的最佳方法是什么？我目前使用的是单线程，例如:

 paths_not_existing = set()
 all_file_paths = [long_list]
 for path_name in all_file_paths:
     if os.path.isfile(path_name) == False:
         paths_not_existing.add(path_name)

多线程可能会提高速度吗？具体来说，由于我假设这是 I/O 绑定(bind)，我想知道是否有办法同时查找多个路径？

(作为引用，我使用的硬盘驱动器不是固态的)。

Answer 1

你当然可以使用多线程/处理，它应该会给你一个加速。有很多不同的方法，但最简单的可能是使用 multiprocessing.Pool.map，它的工作方式与 python 内置的 map 函数相同，但具有分布超过核心。

from multiprocessing import Pool
import numpy as np
ncores = #number of cores, e.g. 8
pool = Pool(ncores) 

all_file_paths = np.array(long_array)

# create a list of booleans corresponding to whether
# each file is in your path or not.
selector = np.array(pool.map(os.path.isfile,all_file_paths))

paths_not_existing = all_file_paths[selector]