java - 如何在通过 jdbc 获取数据后释放内存

Question

我在 weblogic 上使用 spring jdbc。我将获取大小设置为 500，以便更快地从数据库中获取数据。但这会导致内存问题。这是一个例子:

http://webmoli.com/2009/02/01/jdbc-performance-tuning-with-optimal-fetch-size/

我的问题是如何释放这段内存？运行 GC 不工作，我猜它不工作是因为连接池中的连接是 Activity 的。

代码:

public List<Msisdn> getNewMsisdnsForBulkSmsId(String bulkSmsId,String scheduleId,final int msisdnCount) throws SQLException {
            JdbcTemplate jdbcTemplate = getJdbcTemplate();
            jdbcTemplate.setFetchSize(500);
            jdbcTemplate.setMaxRows(msisdnCount);
            jdbcTemplate.query("select BULKSMS_ID, ? as , STATUSSELECTDATE, DELIVERYTIME, ID, MESSAGE from ada_msisdn partition (ID_"+bulkSmsId+") where bulksms_id = ? and status = 0 and ERRORCODE = 0 and  SCHEDULEID is null for update skip locked", new Object[]{scheduleId,bulkSmsId}, MsisdnRowMapper.INSTANCE);

  //Also i tried to close connection and run gc, this does not free the memory too.
            //jdbcTemplate.getDataSource().getConnection().close();
            //System.gc();

            return null;
}

当我将获取大小设置为 10 时，堆大小为 12 MB如果我将获取大小设置为 500，则堆大小为 206 MB

谢谢

Answer 1

添加示例代码等的更新:

听起来您只需要使用一个小于 500 的值，但这让我觉得您返回的数据比您的结果集映射器实际使用的多很多。

现在我看到您将所有 映射结果存储在List 中，我会说获取大小的问题很可能是次要问题。 List<Msisdn> 所需的组合内存空间和一组提取的 ResultSet rows 正在插入您超过可用内存。

msisdnCount 的值是多少？ ？如果它大于 500，那么您可能在 list 中使用了更多内存比ResultSet的 500 条记录。如果它小于 500，那么我认为当您将提取大小设置为 msisdnCount 时也会出现内存问题。 ，错误会在 min(msisdnCount, 500) 之间的某个值处消失。和 10。

将所有结果加载到列表中然后处理它们是一种经常会导致内存耗尽的模式。常见的解决方案是使用流媒体。如果您可以在每一行进入时对其进行处理，并且不将所有 map 结果存储在您的 list 中, 那么你就可以避免内存问题。

我在 Spring JDBC 核心包中没有看到任何流式支持，但如果我找到它，我会更新。

--

如果您要检索的行中的数据足够大，以致于提取 500 行将用完您的堆，那么您必须要么每行返回较少的数据，要么一次提取较少的行。

您可能会发现您将获取的行存储在代码中的某处，这意味着它不是 ResultSet耗尽你的内存力。例如，您可能正在将所有行复制到某个集合实例。

我会查看每一行中数据的大小，并尝试减少可能包含大型数据类型的不需要的列，然后尝试简单地加载数据并迭代结果而不进行正常处理，这可能会存储某处的数据，以查看您可以使用您拥有的内存一次加载多少行。如果您在获取 500 行时内存不足，那么您一定是在提取大量数据。如果您实际上没有使用该数据，那么您就是在浪费 CPU 和网络资源以及内存。

编辑:您可能还想设置游标行为来为您的 JDBC 驱动程序提供更多帮助，以了解它可以丢弃什么。例如，您可以使用 ResultSet.TYPE_FORWARD_ONLY、ResultSet.CONCUR_READ_ONLY 准备语句。 http://docs.oracle.com/javase/6/docs/api/index.html?java/sql/ResultSet.html