c# - 最大并发限制

Question

我希望这个问题有很多可能的解决方案，我可以自己想出一些，有些明显比其他的好，但我确定没有一个是最佳的，所以我很想听听你们真正的多线程专家的意见.

我有大约 100 个可以同时执行的工作，因为它们之间没有依赖关系。如果我依次执行这些，我的总执行时间约为 1:30 秒。如果我在线程池中对每项工作进行排队，它需要大约 2m，这对我来说表明我试图一次做太多事情，所有这些线程之间的上下文切换正在抵消拥有这些线程的优势。

所以基于这样的假设(如果这是错误的，请随时批评我)如果我在任何时候只排队到我系统中的核心数量(这台机器上是 8 个)工作件我会减少上下文切换，从而提高整体效率(当然不能承受其他进程线程)，谁能建议这样做的最佳模式/技术？

顺便说一句，我正在使用 smartthreadpool.codeplex.com，但我不必这样做。

Answer 1

一个好的线程池已经尝试在每个可用内核中拥有一个事件线程。这不是每个核心都有一个线程工作的问题，就好像一个线程正在阻塞(最典型的是在 I/O 上)一样，您希望另一个线程使用该核心。

尝试使用 .NET 线程池或 Parallel 类可能值得一试。

如果您的 CPU 是超线程的(8 个虚拟内核，4 个物理内核)，这可能是个问题。平均而言，超线程使事情变得更快，但在很多情况下它会使事情变得更糟。尝试设置与所有其他核心的亲和性，看看它是否会给您带来改进 - 如果有，那么这很可能是超线程不好的情况。

您是否必须再次收集结果，或在不同任务之间共享任何资源？这样做的成本很可能大于多线程的节省。也许他们是如此不必要 - 例如如果您锁定共享数据，但该数据只被读取过，那么您实际上不需要读取大多数数据结构(如果没有写入，大多数但不是全部对于并发读取都是安全的)。

工作的划分也可能是一个问题。假设单线程方法通过内存区域工作，但多线程方法为每个线程提供其下一位内存以使用循环法。这里每个核心会有更多的缓存刷新，因为“好的下一位”实际上正在被另一个核心使用。在这种情况下，将工作分成更大的 block 可以解决这个问题。

还有很多其他因素可以使多线程方法的性能比单线程方法差，但我能马上想到的就是这些。

编辑:如果您正在写入共享存储，则值得尝试运行一次，您只需丢弃所有结果。这可能会缩小问题所在的范围。