python - os.listdir() 在非常大的文件夹上如何执行？

Question

我计划获取一个巨大的数据文件夹。该文件夹的总大小约为 2TB，包含约 200 万个文件。我需要对这些文件进行一些处理(主要是删除其中 99%)。

我预计由于数据大小会出现一些问题。特别是，我想知道 Python 是否能够在合理的时间内使用 os.listdir() 正确列出这些文件。

例如，根据我的经验，在某些情况下，在 Ubuntu 上删除像这样的大文件夹可能会很痛苦。

Answer 1

os.scandir 已创建 largely because of issues with using os.listdir on huge directories ，所以我预计 os.listdir 会在您描述的场景中受到影响，其中 os.scandir 应该表现更好，因为它可以处理内存消耗较低的文件夹，并且因为(通常)通过避免每个条目的 stat 调用(例如，区分文件和目录)，您至少会受益一点。