gpt4 book ai didi

java - 查询中的 MyBatis 内存泄漏,结果是一个 avg 列表。 30k 行

转载 作者:搜寻专家 更新时间:2023-10-31 20:22:00 25 4
gpt4 key购买 nike

我在 NetBeans Profiler 中观察到,在我执行查询后,Surviving Generations 不断增加:

@Select("SELECT * FROM ais_dynamic WHERE rep_time >= #{from} AND rep_time <= #{to} AND ais_system = #{sys}")    
@Options(useCache=false,fetchSize=8192)
List<AisDynamic> getRecords(
@Param("from") Timestamp from,
@Param("to") Timestamp to,
@Param("sys") int sys);

就好像列表中的对象永远不会被释放,尽管它​​们没有在其他任何地方使用,并且应该随着后台线程运行查询和处理其结果而消亡。

以下是 NetBeans Profiler 返回的实时结果: Live results from NetBeans Profiler

我的问题:

  1. 如何防止内存泄漏?
  2. 我如何优化这个查询,正如你所看到的,我开始使用 Options虽然这并不能防止内存泄漏?

如果需要什么,请告诉我,我会提供。

更新:

经过更多测试后,我更担心问题出在 MyBatis 持有对检索结果的引用,因此它们不会随着时间的推移而被垃圾收集。在执行了 20 次查询调用然后等待后,即使在 30 分钟后我也没有观察到垃圾回收。我所做的就是调用方法:List<AisDynamic> adList = mapper.getRecords(from, to, sys);

最佳答案

我在周末对其进行了测试,看来我已经解决了问题。感谢@partlov 的建议,虽然这不是解决方案,但它让我再次测试了这个问题,我发现了真正的问题。

问题是我负责处理用户查询请求的客户正在堆积线程(执行查询)。由于当我对客户端进行压力测试时请求非常频繁,因此当上一个查询未完成时下一个查询开始,即使我通过设置和检查 run() 中的标志来取消它们一个查询的方法。这出现在查询 session 仍在与数据库对话的情况下,例如当一个选择有 30k+ 个结果时。因此,尽管取消标志被提升,但由于查询正在从数据库中检索结果,因此尚未对其进行检查。这足以让下一个查询开始,所以如果它也有很多结果,客户端就会堆积线程,实际上会消耗越来越多的内存。

因为似乎没有办法(据我所知)取消与数据库(在 MyBatis 中)对话的 session (例如选择查询),所以我必须实现一种机制来防止我自己。我在我的客户端中实现的机制确保下一个查询不会开始,直到前一个查询(为同一用户执行)完成。因此,现在一个查询会在客户端退出其 run() 方法时通知客户端,然后才可能开始对同一用户的下一个查询。


更新 我从经验中了解到,中止/取消长检索事务的唯一且有点脏的方法(根据我的口味)是调用 close() 方法事务使用的 SqlSession 实例。这将导致必须按预期捕获和处理的异常(如下示例)。

org.apache.ibatis.exceptions.PersistenceException: 
### Error querying database. Cause: java.lang.NullPointerException
### The error may exist in YourMapper.java (best guess)
### The error may involve methodOfTheHandlerInvolved
### The error occurred while handling results
### SQL: sqlOfYourQuery
### Cause: java.lang.NullPointerException
... (and a trace follows) ...

关于java - 查询中的 MyBatis 内存泄漏,结果是一个 avg 列表。 30k 行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12781603/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com