c# - 在 C# 中处理非常大的 Dictionary<>

Question

我正在实现一种搜索 (TF-IDF)，其中每个单词的分数都计算为与所有被搜索的文档成正比。我有 100GB 的文档要搜索。

如果我处理 1GB 的文档，我会使用:

Dictionary<string, List<Document>>

..哪里string是单词和List<Document>是所有文档，按顺序排列，包含该词。这不会扩大规模。我正在使用 Dictionary<>因为查找时间是 O(1)(理论上)。

我的预期解决方案是一个 SQLServer 数据库，其中的单词列在一个表中，相关的 List 对象被序列化存储。我担心的是读取数据库并重建到 List<>每次都会非常低效。

我是不是走错方向了？使用大型词典的正常解决方案是什么？

Answer 1

你说得对，使用 List 效率低下，平均而言，List 会实现线性输出 (O(n) ).

就我个人而言，我会使用保证为 O(1) 的 Concurrent Dictionary .在我从事的一个项目中，我正在处理 100MB 文本文件的大文件，我发现 Concurrent Dictionary 可以充分排序和搜索信息，估计每秒完成大约 10,000 条记录。

看看这个整洁的cheat sheet .对于 Big-Oh 算法，它为最好和最坏的情况提供了一些简洁的细节。在处理海量数据集时，牢记抽象 和分解 的概念很重要。

Abstraction Concentrate on the most important elements - ignore irrelevant details

只存储重要的信息，我非常怀疑您需要在内存中存储一​​个完整的 1GB 文件。

Decomposition Divide and Conquer

确保运行您的应用程序的桌面对您的数据库有良好的延迟。我建议只将您需要的内容存储在内存中，并使用 LINQ 仅检索您需要的确切信息，一旦您拥有与您的任务相关的信息......您就可以进一步过滤它。