c# - azure service fabric 可靠字典 linq 查询非常慢

Question

我在服务结构有状态服务中有一本可靠的字典。我有一个简单的 linq 表达式。
我正在使用 Ix-Async 包来构建一个 asyncenumerable。

---

using (ITransaction tx = this.StateManager.CreateTransaction())  
        {  

          var result = (await customers.CreateLinqAsyncEnumerable(tx))
                .Where(x => x.Value.NameFirst != null && x.Value.NameFirst.EndsWith(n, StringComparison.InvariantCultureIgnoreCase))
                    .Select(y => y.Value);

           return await result.ToList();


        }  

---

数据被组织成 2 个分区，每个分区中大约有 75,000 条记录。我使用 Int64 范围作为分区键。在上面的代码中，“Result.ToList()”对每个分区执行大约需要 1 分钟。另一件奇怪的事情是，实际结果是空的!。在 sql server 中运行的相同 sql 返回客户名字以“c”结尾的行。但是，这不是重点。我最关心的是“ReliableDictionary”linq 查询的性能。
问候

Answer 1

Reliable Dictionary 定期从内存中删除最近最少使用的值。这是为了启用

• 大型可靠词典
• 更高的密度:每个副本的可靠集合密度更高，每个节点的副本密度更高。

权衡是，这会增加读取延迟:需要磁盘 IO 来检索未缓存在内存中的值。

有几个选项可以降低枚举的延迟。

1) Key Filtered Enumeration:您可以将要在查询中使用的字段移动到 ReliableDictionary 的 TKey(上例中的 NameFirst)。这将允许您使用 CreateEnumerbleAsync接受关键过滤器的重载。键过滤器允许 Reliable Dictionary 避免从磁盘中检索与您的查询不匹配的键的值。这种方法的一个限制是 TKey(因此其中的字段)无法更新。

2) 使用通知的内存二级索引:Reliable Dictionary Notifications可用于构建任意数量的二级索引。您可以构建一个二级索引，将所有值保存在内存中，从而交易内存资源以提供更低的读取延迟。此外，由于您可以完全控制二级索引，因此可以保持二级索引有序(例如，在您的示例中通过 NameFirst 的反向排序)。

我们还考虑使 Reliable Dictionary 的内存中 TValue 扫描策略可配置。有了这个，如果读取延迟是您的优先事项，您将能够配置 Reliable Dictionary 以将所有值保存在内存中。

由于在您的场景中，枚举的大部分时间都花在了磁盘 IO 上，因此您也可以从使用 Custom Serializer 中获益。这可以减少磁盘和网络占用空间。

感谢您的提问。