个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
在我的 Spring 应用程序中，我想迭代 Mongo 集合以对每个条目执行一些工作。该集合可能非常大，因此不能简单地获取所有条目的列表，因为这会导致 OutOfMemoryErrors。
我最近的尝试是这样的:
void m(MongoOperations ops, Set<String> ids) {
Query query = new Query().addCriteria(Criteria.where("id").in(ids));
CloseableIterator<Foo> it = ops.stream(query, Foo.class);
it.forEachRemaining(foo -> {
System.out.println(foo.getName());
}
}
令我惊讶的是，我在这里遇到了 OutOfMemoryErrors。看起来只要调用 it.forEachRemaining ，与查询匹配的 Foo 的所有条目都会加载到内存中。
Heapdump 显示 CloseableIteratorAdaptor 持有一个 DBCursor，后者持有一个 QueryResultIterator，而后者又持有一个包含所有条目的 ArrayList。
我做错了什么吗？stream() 是否总是将所有条目加载到内存中？我必须实现分页吗？
这是我的堆转储的支配树的相关部分。
Class Name | Shallow Heap | Retained Heap | Percentage
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
org.example.server.OrganizationScopedThreadFactory$OrganizationScopedThread @ 0x81f71718 pool-1-thread-1 Thread| 128 | 1,453,308,456 | 87,50%
|- org.springframework.data.mongodb.core.MongoTemplate$CloseableIterableCursorAdapter @ 0x8b2df1c0 | 24 | 1,432,708,656 | 86,26%
| |- com.mongodb.DBCursor @ 0x8b3bb0f8 | 96 | 1,432,708,600 | 86,26%
| | |- com.mongodb.QueryResultIterator @ 0x8b5e7c70 | 72 | 1,431,064,320 | 86,16%
| | | |- java.util.ArrayList$Itr @ 0x8b5e7cb8 | 32 | 1,431,064,152 | 86,16%
| | | | '- java.util.ArrayList @ 0x8b5e7cd8 | 24 | 1,431,064,120 | 86,16%
| | | | '- java.lang.Object[30391] @ 0x8b5e8ed8 | 121,584 | 1,431,064,096 | 86,16%
| | | | |- com.mongodb.BasicDBObject @ 0x8c2eed70 | 64 | 123,528 | 0,01%
| | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eef18 | 40 | 122,240 | 0,01%
| | | | | | |- com.mongodb.BasicDBList @ 0x8c2eef78 | 32 | 122,144 | 0,01%
| | | | | | | '- java.lang.Object[10] @ 0x8c2eef98 | 56 | 122,112 | 0,01%
| | | | | | | '- com.mongodb.DBRef @ 0x8c2eefd0 | 32 | 122,056 | 0,01%
| | | | | | | |- com.mongodb.BasicDBObject @ 0xc5dbc778 | 64 | 121,992 | 0,01%
| | | | | | | |- org.bson.types.ObjectId @ 0x8c2eeff0 | 32 | 32 | 0,00%
| | | | | | | '- Total: 2 entries | | |
| | | | | | |- java.lang.String @ 0x8c2eef40 projects | 24 | 56 | 0,00%
| | | | | | '- Total: 2 entries | | |
| | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eee00 | 40 | 1,024 | 0,00%
| | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eeea0 | 40 | 120 | 0,00%
| | | | | |- java.util.HashMap$Node[16] @ 0x8c2eedb0 | 80 | 80 | 0,00%
| | | | | '- Total: 4 entries | | |
| | | | |- com.mongodb.BasicDBObject @ 0x8bcfd4c0 | 64 | 123,480 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8c48e2c8 | 64 | 113,520 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8c66f668 | 64 | 112,296 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8c87afe0 | 64 | 112,120 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8c521008 | 64 | 106,096 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8cdc68d0 | 64 | 99,576 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8c8efa40 | 64 | 90,456 | 0,01%
| | | | |- com.mongodb.BasicDBObject @ 0x8b8e0d18 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bbc5a30 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bc446e8 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bcc0ca0 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bda1d30 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8be46048 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8be462e8 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8beb24f8 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8beb2798 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bee79d0 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf04f38 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf0eae8 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf0ed88 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf14220 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf3edf0 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf78640 | 64 | 77,600 | 0,00%
| | | | |- com.mongodb.BasicDBObject @ 0x8bf7dd30 | 64 | 77,600 | 0,00%
| | | | '- Total: 25 of 30.276 entries; 30.251 more | | |
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
更新:此后，我尝试通过设置查询限制并对其进行排序来实现分页，然后反复跳过条目，直到迭代完所有内容。虽然这确实解决了我的内存问题，但它显着降低了性能(大约慢了 100 倍)，可能是因为需要排序。
我使用的是 Spring Boot 1.3.7
最佳答案
游标的内存限制为 16 MB，您可能需要编写应用程序级循环来通过使用跳过、限制和排序来选择 1000 个批处理。
先选1000，然后从1000到2000，以此类推，直到文档末尾，查询时一定要使用排序，使数据一致。
此外，如果您要修改正在查询和排序的字段，则必须小心，以免相同的数据不断弹出。
关于java - 如何在没有 OutOfMemoryError 的情况下迭代大型 Mongo 集合，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39625601/
24
4
0
我是 Java 新手，这是我的代码， if( a.name == b.name && a.displayname == b.displayname && a.linknam
在下面的场景中，我有一个 bool 值。根据结果，我调用完全相同的函数，唯一的区别是参数的数量。 var myBoolean = ... if (myBoolean) { retrieve
我是一名研究 C++ 的 C 开发人员: 我是否正确理解如果我抛出异常然后堆栈将展开直到找到第一个异常处理程序？是否可以在不展开的情况下在任何 throw 上打开调试器(即不离开声明它的范围或任何更高
在修复庞大代码库中的错误时，我观察到一个奇怪的情况，其中引用的动态类型从原始 Derived 类型更改为 Base 类型!我提供了最少的代码来解释问题: struct Base { // some
我正在尝试用 C# 扩展给定的代码，但由于缺乏编程经验，我有点陷入困境。 使用 Visual Studio 社区，我尝试通过控制台读出 CPU 核心温度。该代码使用开关/外壳来查找传感器的特定名称(即
这可能是一个哲学问题。 假设您正在向页面发出 AJAX 请求(这是使用 Prototype): new Ajax.Request('target.asp', { method:"post", pa
我有以下 HTML 代码，我无法在所有浏览器中正常工作: 我试图在移动到
我对 Swift 很陌生。我如何从 addPin 函数中检索注释并能够在我的 addLocation 操作 (buttonPressed) 中使用它。我正在尝试使用压力触摸在 map 上添加图钉，在两
我设置了一个详细 View ，我是否有几个 Nib 文件根据在 Root View Controller 的表中选择的项目来加载。 我发现，对于 Nibs 的类，永远不会调用 viewDidUnloa
我需要动态访问 json 文件并使用以下代码。在本例中，“bpicsel”和“temp”是变量。最终结果类似于“data[0].extit1” var title="data["+bpicsel+"]
我需要使用第三方 WCF 服务。我已经在我的证书存储中配置了所需的证书，但是在调用 WCF 服务时出现以下异常。 向 https://XXXX.com/AHSharedServices/Custome
在几个 SO 答案(1、2)中，建议如果存在冲突则不应触发 INSERT 触发器，ON CONFLICT DO NOTHING 在触发语句中。也许我理解错了，但在我的实验中似乎并非如此。 这是我的 S
如果进行修改，则会给出org.hibernate.NonUniqueObjectException。在我的 BidderBO 类(class)中 @Override @Transactional(pr
我使用 indexOf() 方法来精细地查找数组中的对象。 直到此刻我查了一些资料，发现代码应该无法正常工作。 我在reducer中尝试了上面的代码，它成功了 let tmp = state.find
假设我有以下表格: CREATE TABLE Game ( GameID INT UNSIGNED NOT NULL, GameType TINYINT UNSIGNED NOT NU
代码: Alamofire.request(URL(string: imageUrl)!).downloadProgress(closure: { (progress) in
我是一名优秀的程序员,十分优秀！