Java/Grails - MongoDB 聚合 16MB 缓冲区大小限制

Question

我正在尝试从java运行mongo db聚合查询，但缓冲区大小超过16MB。有没有办法调整缓冲区大小或任何其他解决方法。我没有在 mongo 服务器端创建集合的选项，而且我的客户端系统中没有任何 mongo 实用程序，例如 mongo.exe 或 mongoExport.exe。

这是代码的一小部分

if (!datasetObject?.isFlat && jsonFor != 'collection-grid'){
   //mongoPipeline = new AggregateArgs (Pipeline = pipeline, AllowDiskUse = true, OutputMode = AggregateOutputMode.Cursor)
   output= dataSetCollection.aggregate(pipeline)
}else{
     output= dataSetCollection.aggregate(project)
    }

我有 100K 条记录，30 个字段。当我查询所有 100K 记录的 5 个字段时，我得到结果(成功)。但是当我查询包含所有字段的 100K 记录时，它会抛出以下错误。

问题是当我尝试访问集合中的所有文档时，包括文档的所有字段，其大小超过 16Mb 限制。

实际错误:

com.mongodb.CommandFailureException: { "serverUsed" : "127.0.0.1:27017" , "errmsg" : "exception: aggregation result exceeds maximum document size (16MB)" , "code" : 16389 , "ok" : 0.0

如何解决这个问题？

使用 MongoDB-3.0.6

注意:GridFS 不适合我的标准。因为我需要在一个请求中检索所有文档，而不是一个文档。

Answer 1

运行聚合时，您可以告诉 mongo 返回游标。使用 3.0 Java 驱动程序中的新 API，将如下所示:

// Assuming MongoCollection
dataSetCollection.aggregate(pipeline).useCursor(true)

您可能还需要告诉它使用服务器上的磁盘空间，而不是全部在内存中完成:

// Assuming MongoCollection
dataSetCollection.aggregate(pipeline).useCursor(true).allowDiskUse(true)

如果您使用的是较旧的驱动程序(或新驱动程序中的旧 API)，这两个选项将如下所示:

// Assuming DBCollection
dataSetCollection.aggregate(pipeline, AggregationOptions.builder()
    .allowDiskUse(true)
        .useCursor(true)
        .build())
    .useCursor(true)