c# - 用于目录遍历的任务并行库

Question

我想遍历硬盘驱动器上的一个目录并在所有文件中搜索特定的搜索字符串。这听起来像是可以(或应该)并行完成的事情的完美候选者，因为 IO 相当慢。

传统上，我会编写一个递归函数来查找和处理当前目录中的所有文件，然后递归到该目录中的所有目录中。我想知道如何修改它以使其更加并行。一开始我只是简单修改:

foreach (string directory in directories) { ... }

到

Parallel.ForEach(directories, (directory) => { ... }) 

但我觉得这可能会创建太多任务并使自己陷入困境，尤其是在尝试分派(dispatch)回 UI 线程时。我还觉得任务的数量是不可预测的，这可能不是并行化(这是一个词？)这个任务的有效方法。

有没有人成功地做过这样的事情？您对此有何建议？

Answer 1

不，这听起来不像是并行处理的好候选者准确地说，因为 IO 很慢。你将被磁盘束缚。假设您只有一个磁盘，您真的不想让它同时搜索多个不同的位置。

这有点像试图将多根软管连接到同一个水龙头以便更快地出水 - 或者试图在单个内核上运行 16 个 CPU 绑定(bind)线程:)