database - 我应该使用什么 NoSQL 数据库？

Question

好吧，我已经对 NoSQL 数据库做了一些研究，它们似乎是满足我需要的正确选择。然而，问题是，很多这些数据库，如果不是大多数，都是从 RAM 读取/写入，而不是磁盘。当您拥有大量服务器资源或不希望有大量数据 block 时，这非常好 - 但我认为我应该为最坏的情况做好准备。

我希望从这些数据源收到的数据是每个查询 25KB 到 150KB 之间的任何地方 - 是的 - 对于单个键值最多 150KB。普通用户会生成 500 到 5000 个这样的 key ，并且它们可以无限增长(但可能会停止在 5000 个范围内的某个地方)。如果您快速进行计算(大部分数据将位于 25-150 的较高端，所以我将使用 100KB 作为“平均值”，大多数用户可能会产生 2000-3000 次查询):100KB*3000 - 那是每个用户 300MB!当您开始获得体面的用户群时，疯狂 的数据量。因此，最终我可能会丢弃查询中的大部分数据，使其不超过 1KB 左右，但这仍然远远超过大多数 RAM 的容量。

所以我认为我正在寻找的是一种将数据存储到磁盘并在 RAM 中缓存对象的解决方案。但我对所有解决方案都持开放态度!让我知道你们的想法。我很乐意让这件事快速...

编辑:

为了对路人有用，措辞略有不同:

如果希望在 NoSQL 数据库中最大限度地提高性能但处理大量数据负载，那么推荐的 NoSQL 数据库是什么？我认为这将是一种将数据存储到磁盘的方法，但这会显着降低性能。那里有“两全其美”的解决方案吗？重要的是要注意，我假设这些记录在提交后不会被修改，只会被读取(但可能不会那么频繁)。

我一直在研究 Redis 来完成这样的任务，因为它看起来非常易于管理 - 然而它完全在 RAM 中运行，因此需要小数据 block ，或者同时运行多个实例的多个服务器..这是我的东西无权访问。

Answer 1

首先，我认为当您说大多数情况下您都见过将数据存储在 RAM 中时，您指的是内存中的键/值数据存储，例如 Redis 或 Memcached。但不仅如此。在结束关于内存中 NoSQL 选项的讨论之前，我应该说你是对的。内存很容易填满，根据您的要求，您可能需要大量内存。所以内存中的选项应该被丢弃(不是它们没有用，而是在这种特定情况下)。

我的建议是MongoDb。做你需要的:在磁盘上存储数据，在内存中缓存东西(尽可能多)。但是，您需要一些强大的数据存储选项(SSD 是您应该考虑的)，以便它可以处理您的数据吞吐量需求。我测试过 Mongo，但数据少得多。我正在寻找超过 100 万个元素集合，值大小从 5Kb 到 50Kb 不等。

我最感兴趣的是读取速度。我还应该提到我测试过的写入速度，并且必须说它们令人印象深刻。几分钟内插入一百万个 20Kb(在小型服务器上 - 四核、8GB RAM、VMware VM)。

回到读取速度，我一直在寻找半并发查询，它可以为大约 100 个并发用户提供低于 50 毫秒的读取时间。

在 MongoDb 团队的一些帮助下，我设法接近那些时间，但后来我陷入了其他事情，不得不放弃我的研究(暂时，我希望尽快恢复)。还有更多的东西需要研究，比如聚合速度、map/reduce 等。我可以说服务器上的查询时间非常快，所有开销都是由 BSON 序列化/反序列化和网络传输增加的。

因此，Mongo 适合您，但您必须使用一些好的硬件来支持它。您应该真正安装它并在您的特定情况下对其进行测试，并从您自己的测试中得出结论。

如果您打算这样做并且您的客户端是.NET，那么您应该使用他们的官方驱动程序。否则，这里列出了很多其他的:http://www.mongodb.org/display/DOCS/Drivers .

有关 Mongo 功能及其使用方法的精彩介绍可在此处找到:http://www.mongodb.org/display/DOCS/Developer+Zone .诚然，他们的文档不如 RavenDb(我测试过的另一种 NOSQL 解决方案，但没有那么快)的文档那么好，但您可以在这里或在 Google Groups 上获得很好的支持。