mongodb - DBCursor hasNext() 处理的记录多于 DBCollection 实际拥有的记录……为什么？

Question

我有一个 groovy 脚本，它使用 Mongo Java 驱动程序 mongo-java-driver-2.8.0.jar 访问单个集合中的所有记录，更新任何与预期结构不匹配的记录。该脚本运行得非常出色，但我一直在摸不着头脑，为什么它处理的记录多于集合实际拥有的记录。或者，更准确地说，dbCursore.hasNext() 遍历比集合实际拥有的记录更多的记录。只有当脚本找到要更新的内容时才会发生这种情况。如果脚本执行时没有更新，则处理的总数是正确的。

hasNext() 是“重新开始”还是记录在迭代中移动(如果已更新)？

这是代码...

static def doIt( mongo, normalizer, isDryRun ) {
    def ttlProcessed = 0
    def ttlCandidates = 0
    def ttlUpdated = 0
    def lapCount = 0;
    def lapStartTime = System.currentTimeMillis();

    def db = mongo.getDB( "devices" )
    DBCollection dbCollection = db.getCollection( "profiles" )
    DBCursor dbCursor = dbCollection.find();
    while ( dbCursor.hasNext() ) {
        DBObject source = dbCursor.next();
        DBObject normalized = normalizer.normalize( source )
        // Only update if changed...
        if ( ! ( source.equals( normalized ) ) ) {
            ttlCandidates++
            if ( !isDryRun ) {
                BasicDBObject searchQuery = new BasicDBObject( "_id", normalized.get( "_id" ) )
                WriteResult result = dbCollection.update( searchQuery, normalized, false, false, WriteConcern.SAFE );
                ttlUpdated++
            }
        }
        ttlProcessed++;
        if ( ttlProcessed % 10000 == 0 ) {
            printErr "split: ${lapCount}, splitElapsed: ${calcElapsed( lapStartTime) } ms, elapsed: ${calcElapsed( startTime )} ms, processed: ${ttlProcessed}, candidates: ${ttlCandidates}, updated: ${ttlUpdated}"
            lapCount++
            lapStartTime = System.currentTimeMillis()
        }
    }
    printErr "split: ${lapCount}, splitElapsed: ${calcElapsed( lapStartTime) } ms, elapsed: ${calcElapsed( startTime )} ms, processed: ${ttlProcessed}, candidates: ${ttlCandidates}, updated: ${ttlUpdated}"
}

如果运行更新了任何记录，ttlProcessed 是如何获得比正在处理的集合计数更高的值的？

Answer 1

这可能是因为更新导致文档移动(通常是因为增长)。如果文档确实增长并再次处理，它将算作一次迭代，但假设您的更新是幂等的(我没有测试过)，那么这将不是问题。

您可以使用$snapshot option如果这是一个问题，可以解决这个问题。我还建议阅读此书:

http://www.mongodb.org/display/DOCS/How+to+do+Snapshotted+Queries+in+the+Mongo+Database

这些问题本质上是 mongodump 和 mongoexport 等工具遍历 _id 索引(即默认使用 $snapshot)的原因。

如果您想首先研究防止移动，请查看填充因子页面上的此部分:

http://www.mongodb.org/display/DOCS/Padding+Factor#PaddingFactor-ManualPadding

2.2中还有选项可以在运行compact命令时设置padding:

http://docs.mongodb.org/manual/release-notes/2.2/#padding-specifiable-on-compact-command