c# - 替换 .net 词典

Question

给定(简化描述)

我们的一项服务在内存中有很多实例。大约 85% 是独一无二的。我们需要对这些项目进行非常快速的基于键的访问，因为它们在单个堆栈/调用中被非常频繁查询。这个单一上下文的性能得到了极大的优化。

所以我们开始将它们放入字典中。性能还可以。

在这种情况下，尽可能快地访问项目是最重要的事情。保证读时无写操作。

问题

与此同时，我们达到了字典可以存储的项目数量的限制。

Die Arraydimensionen haben den unterstützten Bereich überschritten. 
  bei System.Collections.Generic.Dictionary`2.Resize(Int32 newSize, Boolean forceNewHashCodes)
  bei System.Collections.Generic.Dictionary`2.Insert(TKey key, TValue value, Boolean add)

转换为数组维度超出了支持的范围。

Memcached 等解决方案在这种特定情况下速度太慢。它是封装在单个服务中的孤立的非常具体的用例

因此我们正在为这种特定情况寻找字典的替代品。

目前我找不到支持这一点的。我错过了什么吗？有人可以指点我吗？

作为替代方案，如果不存在我们正在考虑自己实现一个。

我们考虑了两种可能性。从头开始构建它或包装多个词典。

包装多个字典

当搜索一个项目时，我们可以查看键 HasCode 并将其起始编号用作包装器字典列表的索引。虽然这看起来很容易，但我觉得这意味着哈希码计算了两次(一次由我们计算，一次由内部字典计算)(这种情况确实对性能至关重要)。

我知道交换像字典这样的基类型绝对是最后的可能性，我想避免它。但目前看来没有办法让对象更独特或从数据库中获得字典的性能或在其他地方保存性能。

我也知道“注意优化”，但较低的性能会严重影响其背后的业务需求。

Answer 1

在我看完你的问题之前，我想到了简单的多词典。但是你已经知道这个解决方案了。我假设您确实达到了字典中的最大项目数，而不是任何其他限制。

我会说去吧。我认为您不必担心两次计算哈希值。如果它们的键有点长并且获取哈希确实是一个耗时的操作(我怀疑，但不能确定，因为你没有提到键是什么)，你不需要为你的哈希函数使用整个键.只需选择您可以在自己的哈希中处理的任何部分，并根据它分发项目。

您唯一需要确保的是在您的多个词典中均匀分布项目。实现这一目标的难易程度实际上取决于您的 key 是什么。如果它们是完全随机的数字，您可以只使用第一个字节就可以了(除非您需要超过 256 个字典)。如果它们不是随机数，则您必须考虑它们域中的分布，并以实现均匀分布目标的方式编写您的第一个哈希函数。