c# - 紧密循环中的线程池回调 - 100% CPU

Question

我的算法中有一种方法可以对非常大的数据集运行非常紧密的循环。我本来是单线程写的，还好，但是花了很长时间。我现在想要加快速度，所以我现在使用 ThreadPool 来并行化工作。问题是这会导致我的 CPU 使用率达到 95-100%，这在我的预料之中。然而，我的表现有了显着提高，但我认为如果我能减少所有上下文切换，我可以做得更好。这也导致我的其他程序有点滞后，因为它们必须与线程争夺 CPU 资源。

我的问题是我应该怎么做？我唯一能想到的就是限制一次运行的线程数，但这可能会使我的算法变慢，因为一次只能运行几个线程。我也不想在我的线程中添加 sleep ，因为我只需要算法尽快运行完成。

编辑:有几个人提到了使用 TPL。我认为这是个好主意，但遗憾的是我忘了提及我一直在使用 .NET 3.5，因为父应用程序尚未发布使用 .NET 4 的版本。

Answer 1

这都是关于资源管理的。您的程序目前占用了所有资源，因此其他程序对它们的访问权限减少了。您需要平衡“我只需要算法尽快完成”部分与“这也会导致我的其他程序有点滞后，因为它们必须为 CPU 资源争夺线程”。它们是相互排斥的；您无法让您的应用程序在特定机器上尽可能快地运行，同时保持其他应用程序的完美响应。 CPU 在任何时间段内可以完成的工作量是有限的。

就效率提升而言，您可以做一些事情:

• 不要将 ThreadPool 用于超优化的线程算法。 ThreadPool 非常适合简单的“开始并执行此操作，让我知道您已完成”操作。但是，如果您希望进行优化，则可以避免使用 ThreadPool 添加额外级别的线程调度所固有的开销(在 CPU 和操作系统的固有开销之上)。您对 ThreadPool 中的线程的控制也更加有限，这意味着诸如分配处理器亲和性(以平衡负载)和优先级(为线程提供更多或更少的时间)等单个线程的优化不可用。尝试创建简单的线程，或研究 TPL，它有许多策略来完成多项任务(并非所有这些都首先需要线程)。

• 是的，您会希望能够“限制”线程的数量。这既是为了通过减少您的程序对它的需要来允许其他程序一些 CPU 时间，但正如我所说，多线程也有固有的开销。经验法则是，如果 CPU 的活跃线程数增加一倍以上，因为它具有“执行单元”(这些是 CPU 芯片上的物理内核，以及拆分一个内核的超线程技术等“逻辑处理器”一分为二)，那么操作系统将花费比实际运行线程更多的时间来调度线程和在它们之间切换(“缓存抖动”)。更一般地说，存在 yield 递减规律，这将发展为“规模不经济”；最终，添加另一个线程将导致您的程序运行得比您没有使用该线程时运行得更慢。是的，ThreadPool 可以为您处理最大线程数，但这可能是其各种功能中最简单的一个，您可以在自己的算法中自行实现。

• 确保每个线程的工作都得到优化。寻找幼稚或低效的算法(我称它们为“O(My God)-complexity”)并简化它们。大多数操作的效率都有一个下限(它因操作类型而异)，“过早的优化是万恶之源”(不要以让代码真正起作用为代价来优化性能)，但是请理解，在多线程环境中，运行一次算法的效率所获得的任何 yield 都将乘以运行它的次数，因此确保并行操作高效是双重奖励。