C#高效地在核心之间划分任务

Question

我正在研究一个在我的 8 核工作站上运行的小型模拟。模拟涉及对大量独立节点之间的交互进行建模。在一个阶段，我需要对每个节点并行执行一系列简单的原子操作。我一直在使用 System.Threading.Tasks 中的 Parallel.ForEach 将操作同时应用于所有节点列表中的每个节点。

这适用于我用于测试的 100-500 个节点。负载平衡得很好，所有内核都在不断使用。不幸的是，当我尝试使用主数据集(5000 多个节点)运行模拟时，一切都出错了。所有 8 个内核大部分时间都处于空闲状态，每隔几秒就会达到 100%，然后恢复到 1% 的利用率。几分钟后，抛出 OutOfMemoryException，程序崩溃。

我不完全确定哪里出了问题，但我仍然怀疑我当前的代码生成的线程比任务的最佳线程多得多。我认为理想的方法是让模型检测可用核心数 N，将节点列表划分为 N 个段，然后生成 N 个线程，为每个线程提供一个单独的列表分区。

我想问的是，这是否确实是解决问题的好方法，是否存在更好的方法，以及应该如何在 C# 中实现？欢迎任何建议或意见。

编辑:按要求编写示例代码

Parallel.ForEach(listOfNodes, tempNode =>
{
   tempNode.foo();
} );

<snip>

void foo()
{
   foreach(myType bar in listOfmyType)
   {
       if (bar.isActive)
           setNodeActive();
   }
} 

Answer 1

查看此线程，它讨论了限制 Parallel.For 用于避免内存不足的线程数:

http://connect.microsoft.com/VisualStudio/feedback/details/534571/parallel-foreach-may-create-an-inordinate-number-of-threads

我会尝试设置 ParallelOptions.MaxDegreeOfParallelism 到大约 500，看看会发生什么。