mongodb - MongoDB + C# 中不同写入问题的奇怪性能测试结果

Question

在实际投入使用之前，我正在尝试测试 MongoDB 的性能。我正在尝试查看每秒可以更新多少文档。我正在使用 C#(Mono + Ubuntu)MongoDB Driver v1.9 和 MongoDB v2.4.6。

我相信对写入性能最有效的 MongoDB 参数之一是 Write Concern。正如 documentation 中所述，最宽松的写入关注值是 -1，然后是 0，最后 1 是最慢的。

搜索后我发现我可以像这样在连接字符串中嵌入 C# 中设置写关注点:

var client = new MongoClient("mongodb://localhost/?w=-1");

以下是我为 w 设置不同值的结果:

1. 当我将 w 设置为 1 时，可以获得最快的结果!
2. 设置w=0比w=1慢28倍!
3. w=-1 将导致抛出错误消息 W value must be greater than or equal to zero!

有人对这些结果有任何解释吗？我做错了什么吗？

[更新]

我觉得设置测试程序是很有必要的，也许里面有什么隐藏的东西。所以这里是:

我有一个数据库，单个集合中包含 100M 文档。每个文档都是使用 mongo shell 创建的:

{ "counter" : 0, "last_update" : new Date() }

这是 db.collection.stats(); 的输出:

{
    "ns" : "test.collection",
    "count" : 100000100,
    "size" : 6400006560,
    "avgObjSize" : 64.0000015999984,
    "storageSize" : 8683839472,
    "numExtents" : 27,
    "nindexes" : 2,
    "lastExtentSize" : 2146426864,
    "paddingFactor" : 1,
    "systemFlags" : 1,
    "userFlags" : 0,
    "totalIndexSize" : 5769582448,
    "indexSizes" : {
        "_id_" : 3251652432,
        "last_update_1" : 2517930016
    },
    "ok" : 1
}

在 Ubuntu 12.04 中使用 Mono 3.2.1 我编写了一个连接到 MongoDB 的 C# 项目并尝试像这样更新文档:

FindAndModifyArgs args = new FindAndModifyArgs();
args.SortBy = SortBy.Ascending("last_update");
args.Update = Update<Entity>.Set(e => e.last_update, DateTime.Now);
args.Fields = Fields.Include(new string[] { "counter", "_id" });
var m = collection.FindAndModify(args);

Entity ent = m.GetModifiedDocumentAs<Entity>();
var query = Query<Entity>.EQ(e => e.Id, ent.Id);
var update = Update<Entity>.Set(e => e.counter, ent.counter+1);
collection.Update(query, update);

总结这段代码的作用；它选择最旧的 last_update 并将 last_update 设置为当前日期，同时它还会递增其计数器(更新分两步进行)。

我为四种不同类型的 Write Concerns、w=-1、w=0、 中的每一种都运行了这段代码 10k >w=1 和 w=1&j=true。当 w=-1 抛出异常并且没有给出任何结果时，以下是其余部分的结果:

由于该图有点难读，下面是相同的数字结果:

            w=-1    w=0                 w=1                 w=1&j=true
Average     N/A     244.0948611492      7064.5143923477     238.1846428156
STDEV       N/A     1.7787457992        511.892765742       21.0230097306

问题是:有没有人能解释为什么 w=0 比 w=1 慢得多以及为什么 w=-1 不支持？

[更新]

我还测试了 RequestStart在我的代码中是这样的:

using (server.RequestStart(database)) {
    FindAndModifyArgs args = new FindAndModifyArgs();
    args.SortBy = SortBy.Ascending("last_update");
    args.Update = Update<Entity>.Set(e => e.last_update, DateTime.Now);
    args.Fields = Fields.Include(new string[] { "counter", "_id" });
    var m = collection.FindAndModify(args);

    Entity ent = m.GetModifiedDocumentAs<Entity>();
    var query = Query<Entity>.EQ(e => e.Id, ent.Id);
    var update = Update<Entity>.Set(e => e.counter, ent.counter+1);
    collection.Update(query, update);
}

它对任何结果都没有显着影响，从来没有。

Answer 1

要解决 w=-1 错误，您可能需要使用 WriteConcern.Unacknowledged property直接。

您的测试代码可能会遇到一致性问题。查看RequestStart/RequestDone将查询放到同一个连接上。根据文档:

An example of when this might be necessary is when a series of Inserts are called in rapid succession with a WriteConcern of w=0, and you want to query that data is in a consistent manner immediately thereafter (with a WriteConcern of w=0, the writes can queue up at the server and might not be immediately visible to other connections

Aphyr 做了 a good blog post关于 MongoDB 写关注的各种设置如何影响其近似一致性。它可能会帮助您解决此问题。

最后，您可以在build.ps1 中找到您的驱动程序版本。