c# - 尝试为 MongoDB 优化 I/O

Question

我有一个更新程序脚本，每隔几个小时就会为游戏服务器上的各个区域运行一次。我希望更频繁地运行此脚本并添加更多区域。理想情况下，我希望尽可能均匀地分布 CPU 和 I/O 的负载。我以前使用 mysql 运行此脚本，但现在该网站的所有内容都使用 mongodb，因此将更新程序脚本也移至 mongodb 有点有意义。当 mongodb 将所有更新刷新到数据库时，我遇到了非常高的 I/O 峰值。

脚本是用 C# 编写的，尽管我认为这不太相关。更重要的是，每次运行其中一个脚本时，我们都会进行大约 50 万到 120 万次更新。我们已经对代码和索引做了一些小的优化，但此时我们仍然停留在如何优化实际的 mongodb 设置上。

其他一些重要的信息是我们做了这样的事情

更新({'someIdentifier':1}, $newDocument)

而不是这个:

$set : { internalName : 'newName' }

不确定这在性能上是否比 $set 差很多。

我们可以做些什么来分散负载？如果这也有帮助，我可以为 VM 分配更多内存。

我很乐意提供更多信息。

Answer 1

这是我的想法:

1) 正确解释您的性能问题。

到目前为止，我真的无法弄清楚问题是什么，或者您是否有任何问题。据我所知，您正在执行大约 1 GB 的更新，并将大约 1 GB 的数据写入磁盘……这并不令人震惊。

哦，做一些该死的测试——不确定这在性能上是否比做 $set 差很多。——你为什么不知道？您的测试结果如何？

2) 检查硬件是否不匹配。

您的磁盘是否很慢？您的工作集是否大于 RAM？

3) 在 mongo-user 和其他 MongoDB 特定社区询问...

...仅仅是因为你可能会在那里得到比这里没有答案更好的答案。

4) 考虑尝试 TokuMX。

等等？我不是刚刚指责上一个建议基本上是在向他自己的产品发送垃圾邮件的人吗？

当然，它是一种新产品，刚刚被引入 Mongo(它似乎有一个 mysql 版本更长的时间)，但基本原理似乎是合理的。特别是它非常擅长快速，不仅是插入，还有更新/删除。它通过不需要实际去更改有问题的文档来做到这一点——而是将插入/更新/删除消息作为索引结构的一部分存储在缓冲队列中。当缓冲区填满时，它会批量应用这些更改，这在 I/O 方面的效率要高得多。最重要的是，它使用压缩来存储数据，这应该会额外减少 I/O - 物理上更少的写入。

到目前为止，我能看到的最大缺点是它的最佳性能是在 大 数据上看到的 - 如果您的数据适合 RAM，而不是在一堆测试中输给 BTree。仍然很快，但没有那么快。

是的，它是非常新的，我不会在没有测试的情况下信任它，即使那样也只信任非关键任务的东西，但它可能就是您正在寻找的东西。 TBH，因为它只是一个新的索引/存储子系统......它适合作为 mongodb 的优化而不是单独的产品。特别是因为 mongodb 中的索引/存储系统一直有点简单——“让我们使用内存映射文件进行缓存”等。