c# - 如何提高 Mongo 更新操作的性能？

Question

foreach (var doc in await records.Find(filter).ToListAsync())
{
    var query = Builders<JobInfoRecord>.Filter.Eq("JobTypeValue", doc.JobTypeValue);
    var updatedJobInfo = Regex.Replace(doc.SerializedBackgroundJobInfo, pattern, "<$1></$1>");
    var update = Builders<JobInfoRecord>.Update.Set("SerializedBackgroundJobInfo", updatedJobInfo);

    records.UpdateOneAsync(query, update).Wait();
}

这是更新文档的最佳方式吗(我将名称中包含 password 的 xml 字符串中的标签值更改为空标签: <adminPassword></adminPassword> 或 demo)？我正在使用 Mongo 驱动程序 2.0.2

我有一个 500 000 的收藏文件，其中我每分钟(希望如此)执行更新大约。 3000文档。

如何提高 update 的性能操作？

Answer 1

按照您的方式更新时，您需要检索文档内容以便检查它并进行此类修改。 MongoDB 没有以您想要的方式作用于现有值的原子操作，因此当然需要迭代。

在语句的两个版本之间如何匹配正则表达式的“查询”部分没有真正的区别。无论如何，内容在发送到服务器之前都会转换为 BSON，因此如果您使用标准表达式构建器或直接 BSON 文档，影响不大。

但是关于可以进行的性能改进。

使用批量操作更新

---

如前所述，批量操作是您应该更新此类列表迭代的方式，并且您还“应该”使用游标而不是将所有结果转换为列表，因为它会节省内存。

避开所有特定类型声明并仅表示为 BsonDocument(这可能会节省您的编码时间，但不是必需的)那么基本示例过程将是:

var pattern = @"(?si)<([^\s<]*workUnit[^\s<]*)>.*?</\1>";
var filter = Builders<JobInfoRecord>.Filter.Regex(x => x.SerializedBackgroundJobInfo,
                                              new BsonRegularExpression(pattern, "i"));


var ops = new List<WriteModel<BsonDocument>>();
var writeOptions = new BulkWriteOptions() { IsOrdered = false };

using ( var cursor = await records.FindAsync<BsonDocument>(filter))
{
    while ( await cursor.MoveNextAsync())
    {
        foreach( var doc in cursor.Current )
        {
            // Replace inspected value
            var updatedJobInfo = Regex.Replace(doc.SerializedBackgroundJobInfo, pattern, "<$1></$1>");

            // Add WriteModel to list
            ops.Add(
                new UpdateOneModel<BsonDocument>(
                    Builders<BsonDocument>.Filter.Eq("JobTypeValue", doc.JobTypeValue),
                    Builders<BsonDocument>.Update.Set("SerializedBackgroundJobInfo", updatedJobInfo)
                )
            );

            // Execute once in every 1000 and clear list
            if (ops.Count == 1000)
            {
                BulkWriteResult<BsonDocument> result = await records.BulkWriteAsync(ops,writeOptions);
                ops = new List<WriteModel<BsonDocument>>();
            }
        }
    }

    // Clear any remaining
    if (ops.Count > 0 )
    {
        BulkWriteResult<BsonDocument> result = await records.BulkWriteAsync(ops,writeOptions);
    }

}

因此，您不必为从查询中检索到的每个文档向数据库发出请求，而是创建一个 WriteModel 的 List代替操作。

一旦这个列表增长到一个合理的值(在本例中为 1000)，您就可以在单个请求和所有批处理操作的响应中将写入操作提交给服务器。这里我们使用BulkWriteAsync .

如果愿意，您可以创建大于 1000 的批处理，但通常这是一个合理的处理数量。唯一真正的硬限制是 16MB 的 BSON 限制，因为所有请求实际上仍然是 BSON 文档，所以这仍然适用。无论如何，接近 16MB 需要很多请求，但是在请求实际到达服务器时如何处理请求时，还需要考虑阻抗匹配，as documented :

"Each group of operations can have at most 1000 operations. If a group exceeds this limit, MongoDB will divide the group into smaller groups of 1000 or less. For example, if the bulk operations list consists of 2000 insert operations, MongoDB creates 2 groups, each with 1000 operations."

因此，通过将请求大小保持在与服务器处理方式相同的水平，您还可以从 yield 中获益，其中“多个批处理”实际上可以并行连接到服务器，而不是让服务器进行拆分和排队。

返回结果为BulkWriteResult它将包含有关发送的操作批处理中“匹配项”和“修改项”等数量的信息。

自然地，由于操作是“分批”的，因此在循环迭代结束时检查列表中是否还有更多“分批”操作是有意义的，然后当然以相同的方式提交。

还注意到 IsOrdered = false 为 BulkWriteOptions意味着这批操作实际上并不是按串行顺序执行的，这意味着服务器实际上可以“并行”运行任务。这可以在不需要 promise 顺序的情况下做出“巨大”的速度改进。默认是提交“有序”和串行。

这不是设置此选项所必需的，但是如果您的命令不重要(在这种情况下不应该重要，因为这里没有其他操作请求依赖于文档的先前修改)那么您获得的改进是值得的.

这一切都是为了“减少”对服务器发出的实际请求的数量。发送更新和等待响应需要时间，而且在大型操作中是一项非常昂贵的操作。这就是批量操作要处理的问题，通过在一个请求中应用多个操作。

减少开销是“巨大的”性能提升。这就是您使用它的原因。