Java/mongodb - 如何实现聚合方法以将结果作为游标返回

Question

我面临以下问题

com.mongodb.CommandFailureException: { "serverUsed" : "127.0.0.1:15847" , "errmsg" : "exception: aggregation result exceeds maximum document size (16MB)" , "code" : 16389 , "ok" : 0.0}

谷歌搜索后我发现了一些解决方法，比如使用下面的代码

1. {"$out":"temp_colls");
2. useCursor=True

第一个对我有用，但它花费了大约 3-4 分钟的时间。

所以寻找我在下面尝试过的第二个选项

原代码为

dbObjArray = new BasicDBObject[2]
dbObjArray[0]= cruxLevel
dbObjArray[1] = project                                  
List<DBObject> pipeline = Arrays.asList(dbObjArray)
       if (!datasetObject?.isFlat && jsonFor != 'collection-grid') {
    output= dataSetCollection.aggregate(pipeline)
       }else{
            output= dataSetCollection.aggregate(project)
       }
output.results().eachWithIndex{list,index->
dataList.add(output.results()[index])

我在下面尝试在光标中获得结果。

1.

   // Assuming MongoCollection
   dataSetCollection.aggregate(pipeline).useCursor(true)

您可能还需要告诉它使用服务器上的磁盘空间，而不是全部在内存中执行:

2.

  // Assuming MongoCollection
  dataSetCollection.aggregate(pipeline).useCursor(true).allowDiskUse(true)

如果您使用的是旧驱动程序(或新驱动程序中的旧 API)，这两个选项将如下所示:

3.

   // Assuming DBCollection
    dataSetCollection.aggregate(pipeline, AggregationOptions.builder().allowDiskUse(true)
    .useCursor(true)
    .build())
   .useCursor(true)

和

 output= dataSetCollection.aggregate(project).newAggregationOptions().outputMode(AggregationOptions.OutputMode.CURSOR).build()

举例错误

对于 “output= dataSetCollection.aggregate(project).useCursor(true)”

groovy.lang.MissingMethodException: No signature of method: com.mongodb.AggregationOutput.useCursor() is applicable for argument types: (java.lang.Boolean) values: [true]

对于 “output= dataSetCollection.aggregate(project).useCursor(true).allowDiskUse(true)”

groovy.lang.MissingMethodException: No signature of method: com.mongodb.AggregationOutput.useCursor() is applicable for argument types: (java.lang.Boolean) values: [true]

对于 “output= dataSetCollection.aggregate(project,AggregationOptions.builder() .allowDiskUse(真) .useCursor(真) 。 build ()) .useCursor(真)”

groovy.lang.MissingPropertyException: No such property: AggregationOptions for class: com.acumetric.hrat.aggregator.DataImportService

最后一个。

groovy.lang.MissingMethodException: No signature of method: com.mongodb.AggregationOutput.newAggregationOptions() is applicable for argument types: () values: []

没有任何效果。我哪里出错了，请帮忙!

谢谢。

Answer 1

在else block 中放置代码

def dbObjArray = new BasicDBObject[1]
dbObjArray[0]= project
List<DBObject> flatPipeline = Arrays.asList(dbObjArray)
AggregationOptions aggregationOptions = AggregationOptions.builder()
                                    .batchSize(100)
                                    .outputMode(AggregationOptions.OutputMode.CURSOR)
                                    .allowDiskUse(true)
                                    .build();
def cursor = dataSetCollection.aggregate(flatPipeline,aggregationOptions)