java - MongoDB 恢复旧查询或跳到文档

Question

我正在开发一个系统，用户可以使用多个参数查询我的 MongoDB 数据库。当用户查询时，他们会得到 20 个结果。然而，用户可能想要获得额外的 20 个结果，然后是另一个，等等......

在编写这样的系统时，我的第一 react 是使用“跳过”功能，并跳过我返回给用户的结果数量；然而，这样做的问题是，在用户运行新查询以获得新结果时，许多(数百或数千)与用户查询匹配的新文档可能已添加到 MongoDB 中。因此，“跳过”不会从上次停止的地方恢复查询。

例如。

Documents:

1,2,3,4,5,6,7,8,9,10,11,12,13,14, etc...

我们在文档编号 20 处结束。用户的下一个查询表示跳过 20。但是，已经添加了 500 个新文档。现在跳过应该是 520，以便从上次发出的查询处继续。但是，我目前无法跟踪自用户上次查询以来添加了多少文档。

我的下一个想法是让用户提交上次查询中收到的最后一个文档的 ID，以及用户在所有查询中收到的文档总数。我会告诉 MongoDB “跳过”用户收到的文档总数 - 1。然后我会将每个文档与用户发送的文档的 ID 进行比较，直到找到用户停止的位置。

示例:

public static String getDocument(String lastId, int skip, BasicDBObject query)
{
   DBCursor cursor = collection.find(query).skip(skip);
   while(cursor.hasNext())
   {
      BasicDBObject obj = (BasicDBObject) cursor.next();
      String id = obj.getString("id");
      if(id.equals(lastId))
      {
         //Then we know that here is where we left off, and to start getting new documents
      }
    }
}

我认为，如果添加了许多新文档，则效率很低，并且可能会使查询时间变慢。这个假设正确吗？

有没有办法查询 MongoDB，告诉它跳过给定文档 ID 之前的所有结果？如果没有，是否有处理此类问题的标准方法？我不知道该怎么办。

Answer 1

问得好。我不知道你为什么在这里提到“聚合”，从你的例子中我看到它是一个 mongo 常规查询，所以我假设你的问题是关于 mongo 查询而不是关于聚合框架。

为了回答您的问题(至少按照我的理解)，首先我想在这里提供一些“提示和技巧”之类的信息。

在 mongo db 中，有更多理由避免跳过大量对象，这是因为当您使用“skip X”查询时，引擎必须迭代所有 X 个对象(线性扫描)在到达对象 X 之前。因此，如果您检索 200 个对象并使用skip，则获取这 200 个对象的时间将随着skip 值的增长而逐渐增长。

这并不是 mongo 所独有的，顺便说一句，这也发生在关系数据库中。

在该领域使用 Mongo 的一种首选方法是通过您不关心但具有索引的内容(例如 _id)返回有序结果。

请注意，在查询中您只是迭代整堆结果，并且您并不真正关心这些结果的顺序。那么在这种情况下你可以做的是:

getNResults ordered by id (ascending)
while(shouldRetrieveMoreResults()) {
    memorize the last id in the list of retrieved results
    instead of skip, use the following query: "get 200 objects ordered by id  ascending where id > _a_memorized_id"
    memorize the last id among retrieved ids and perform the loop again and again
}

由于 _id 始终有一个索引，因此查询速度会很快，并且对于较大的跳过值会更加高效。

这是 mongo db 书中写的内容，顺便说一句:)

现在你在这里提出的是另一个问题。基本上你说你有不断变化的数据。在这种情况下，也许最好的办法是向文档中添加一些“辅助”字段，该字段总是会增加，例如时间，以便您可以按时间迭代值。时间可以被索引。因此，您可能想要使用我上面描述的相同技巧，但不要使用按对象 ID 排序，而是使用按另一个索引字段排序。

希望这有帮助