python - 使用索引以递归方式快速获取目录中的所有文件

Question

尝试 #2:

人们似乎并不理解我要做什么。让我看看是否可以更清楚地说明:

1) 读取文件列表比遍历目录快得多。

2) 所以让我们有一个函数来遍历一个目录并将结果列表写入一个文件。现在，将来，如果我们想获取该目录中的所有文件，我们只需读取该文件即可，而无需遍历目录。我称这个文件为索引。

3) 显然，随着文件系统的改变，索引文件变得不同步。为了克服这个问题，我们有一个单独的程序可以挂接到操作系统中，以监控文件系统的变化。它将这些更改写入称为监视器日志的文件。在我们读取特定目录的索引文件后，我们立即使用监控日志将各种更改应用于索引，以便它反射(reflect)目录的当前状态。

因为读取文件比遍历目录便宜得多，所以这应该比第一次调用后遍历所有调用要快得多。

原帖:

我想要一个函数，它将递归地获取任何给定目录中的所有文件，并根据各种参数过滤它们。我希望它快一点——比如，比简单地沿着方向走快一个数量级。我更喜欢用 Python 来做。跨平台是可取的，但 Windows 是最重要的。

以下是我的想法:

我有一个名为 all_files 的函数:

def all_files(dir_path, ...parms...):
    ...

我第一次调用此函数时，它将使用 os.walk 构建所有文件的列表，以及有关文件的信息，例如它们是否隐藏、符号链接(symbolic link)等。我将写入此数据到目录中名为“.index”的文件。在随后调用 all_files 时，将检测到 .index 文件，我将读取该文件而不是遍历目录。

这留下了索引在添加和删除文件时不同步的问题。为此，我将有第二个程序在启动时运行，检测整个文件系统的所有更改，并将它们写入名为“mod_log.txt”的文件。它通过 Windows 信号检测变化，如描述的方法 here .该文件每行将包含一个事件，每个事件由受影响的路径、事件类型(创建、删除等)和时间戳组成。 .index 文件也将具有上次更新时间的时间戳。在我读取 all_files 中的 .index 文件后，我将尾随 mod_log.txt 并查找在 .index 文件中的时间戳之后发生的任何事件。它将获取这些最近发生的事件，找到任何适用于当前目录的事件，并相应地更新 .index。

最后，我将获取所有文件的列表，根据各种参数对其进行过滤，并返回结果。

你觉得我的方法怎么样？有更好的方法吗？

编辑:

检查这段代码。通过递归遍历读取缓存列表，我发现速度大大提高。

import os
from os.path import join, exists
import cProfile, pstats

dir_name = "temp_dir"
index_path = ".index"

def create_test_files():
    os.mkdir(dir_name)
    index_file = open(index_path, 'w')
    for i in range(10):
        print "creating dir: ", i
        sub_dir = join(dir_name, str(i))
        os.mkdir(sub_dir)
        for i in range(100):
            file_path = join(sub_dir, str(i))
            open(file_path, 'w').close() 
            index_file.write(file_path + "\n")
    index_file.close()
#

#  0.238 seconds
def test_walk():            
    for info in os.walk("temp_dir"):
        pass

#  0.001 seconds
def test_read():
    open(index_path).readlines()

if not exists("temp_dir"):
    create_test_files()

def profile(s):
    cProfile.run(s, 'profile_results.txt')
    p = pstats.Stats('profile_results.txt')
    p.strip_dirs().sort_stats('cumulative').print_stats(10)

profile("test_walk()")
profile("test_read()")

Answer 1

不要试图复制文件系统已经完成的工作。你不会比现在做得更好。

你的方案在很多方面都有缺陷，它不会让你有一个数量级的改进。

缺陷和潜在问题:

您将始终使用文件系统的快照。你永远不会确切地知道它与现实并没有明显的脱节。如果这在您的应用程序的工作参数范围内，那就没问题了。

文件系统监控程序仍然需要递归遍历文件系统，因此工作仍在进行中。

为了提高缓存的准确性，您必须提高文件系统监视器运行的频率。它运行得越多，您实际节省的时间就越少。

当索引文件被文件系统监控程序更新时，您的客户端应用程序可能无法读取索引文件，因此您会在客户端等待索引可读时浪费时间。

我可以继续。

事实上，如果您不关心可能与现实脱节的文件系统快照，我认为您最好将索引保存在内存中并使用应用程序本身。这将清除否则会出现的任何文件争用问题。