mongodb - 在 mongodb 中的索引列上查找重复项的快速方法

Question

我在 mongodb 中有一个 md5 集合。我想找到所有重复项。 md5 列已编入索引。您知道使用 map reduce 的任何快速方法吗？还是应该只遍历所有记录并手动检查重复项？

我目前使用 map reduce 的方法几乎两次迭代集合(假设有非常少量的重复项):

res = db.files.mapReduce(
    function () {
        emit(this.md5, 1);
    }, 
    function (key, vals) {
        return Array.sum(vals);
    }
)

db[res.result].find({value: {$gte:1}}).forEach(
function (obj) {
    out.duplicates.insert(obj)
});

Answer 1

我个人发现，在大型数据库(1TB 或更多)上，接受的答案非常慢。聚合要快得多。示例如下:

db.places.aggregate(
    { $group : {_id : "$extra_info.id", total : { $sum : 1 } } },
    { $match : { total : { $gte : 2 } } },
    { $sort : {total : -1} },
    { $limit : 5 }
    );

它搜索 extra_info.id 被使用两次或多次的文档，按给定字段的降序对结果进行排序并打印它的前 5 个值。