mongodb - Mongo 查询需要很长时间。如何让它更快？

Question

我在 node js 中使用 mongoose 驱动程序。我的架构:

let sendResultSchema = mongoose.Schema({
  emailId: String,      email: String,              
  letterId: String,     sendedFrom: String,
  resultMsg: String,    owner: String,              
  created: Date,        result: Boolean,
  tag: String,          tryNum: Number,
  clickHash: String,    links: [String]
})
sendResultSchema.index({emailId: 1, letterId: 1, result: 1, owner: 1, tag: 1, clickHash: 1})
let sendResultModel = mongoose.model('sendresult', sendResultSchema)

sendresult 集合有 641000 个文档。

此查询执行约 0.5 秒。

 db.sendresults.find({"tag" : "tagValue", "letterId" : "5ad630b5949bb02ea07d15d1"}).sort({emailId: -1}).limit(1)

我认为它必须执行得更快。你可以看到这个查询的解释 here

如何使这个查询更快？

Answer 1

索引需要覆盖查询的所有部分(相等部分、排序部分和范围部分)。这是因为在典型的 find() 查询中，MongoDB 只使用一个索引。例如，它通常不会对相等部分使用一个索引，而对排序部分使用另一个索引。

一般情况下，索引中的字段顺序需要遵循相等->排序->范围的模式。

这在 Optimizing MongoDB Compound Indexes 中有详细描述.

对于您的查询，相等部分是 tag:..., letterId:...，排序部分是 emailId:-1。您的查询中没有范围部分。

使用这个模式，你需要的复合索引是:

db.test.createIndex({tag:1, letterId:1, emailId:-1})

让我们尝试确认使用该索引我们可以获得多少性能改进。

测试数据

为了确认索引的适用性，我使用 mgeneratejs 将 100 万条记录插入到测试数据库中，这是一个使用模板创建随机文档的工具。

根据您的示例，我使用的 mgeneratejs 模板是:

$ cat template.json
{
  "emailId": "$hash",
  "email": "$email",
  "letterId": "$hash",
  "sendedFrom": "$email",
  "resultMsg": "$word",
  "owner": "$name",
  "created": "$date",
  "result": "$bool",
  "tag": "$word",
  "tryNum": {"$integer": {"min": 0, "max": 1e3}},
  "clickHash": "$word",
  "links": {"$array": {"of": "$url", "number": {"$integer": {"min": 1, "max": 5}}}}
}

并将 100 万个随机文档导入 MongoDB:

$ mgeneratejs template.json -n 1000000 | mongoimport -d test -c test

测试 1:非最优索引

然后我创建了您拥有的索引，并尝试查找一个不存在的文档并收集了 10 次运行的查询，该集合仅包含此索引:

> db.test.createIndex({emailId: 1, letterId: 1, result: 1, owner: 1, tag: 1, clickHash: 1})

> db.test.find({"tag" : "xyz", "letterId" : "abc"}).sort({emailId: -1}).limit(1)
Fetched 0 record(s) in 3069ms
Fetched 0 record(s) in 2924ms
Fetched 0 record(s) in 2923ms
Fetched 0 record(s) in 3013ms
Fetched 0 record(s) in 2917ms
Fetched 0 record(s) in 2961ms
Fetched 0 record(s) in 2882ms
Fetched 0 record(s) in 2870ms
Fetched 0 record(s) in 2969ms
Fetched 0 record(s) in 2863ms

因此使用该索引，查询的响应时间不是很好，大多数执行时间接近 3 秒。

测试 2:相等 -> 排序 -> 范围索引

通过添加最优的equality -> sort -> range 索引:

> db.test.createIndex({tag:1, letterId:1, emailId:-1})

> db.test.find({"tag" : "xyz", "letterId" : "abc"}).sort({emailId: -1}).limit(1)
Fetched 0 record(s) in 2ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 1ms
Fetched 0 record(s) in 3ms

相比之下，使用最优索引，性能得到显着提高。没有查询在超过 3 毫秒内返回，大部分时间在 1 毫秒内返回。