c# - 散列/分片 ActionBlocks

Question

我需要并行处理某些项目，所以我使用 TPL Dataflow。 .要注意的是，共享相同键(类似于字典)的项目应按 FIFO 顺序处理，而不是彼此平行(它们可以与具有不同值的其他项目平行)。

正在完成的工作非常受 CPU 限制，异步锁最少，所以我的解决方案是创建一个 ActionBlock<T> 的数组。 s 的大小 Environment.ProcessorCount没有并行性并根据 key 的 GetHashCode 发布给他们值(value)。

创作:

_actionBlocks = new ActionBlock<Item>[Environment.ProcessorCount];
for (int i = 0; i < _actionBlocks.Length; i++)
{
    _actionBlocks[i] = new ActionBlock<Item>(_ => ProcessItemAsync(_));
}

用法:

bool ProcessItem(Key key, Item item)
{
    var actionBlock = _actionBlocks[(uint)key.GetHashCode() % _actionBlocks.Length];
    return actionBlock.Post(item);
}

那么，我的问题是，这是解决我的问题的最佳方法吗？我是否损害了性能/可扩展性？我错过了什么吗？

Answer 1

我认为你的方法是合理的，假设你知道散列码会很好地分布。

如果您想更好地防止不良分布，您可以使用更多的 ActionBlock，同时通过使用单个自定义 TaskScheduler 来限制它们的总并发级别。由所有 block 共享。你可以找到这样的调度程序 in ParallelExtensionsExtras或 on MSDN .