java - 内存峰值尝试加载大量对象并流式传输到 csv

Question

我们有一个网络应用程序，用户可以通过单击链接下载数据列表。它的作用是在 MS sql server 数据库中触发一个存储过程 - 获取具有 14 列和所有字符串的行。一旦我们得到它并从结果集中提取，我们直接将其流式传输到客户端计算机上的 csv 文件。这样，我们就可以在开始流操作之前将创建的中间域对象(等于重新调整的行数)保存在内存中。此外，我们不会等到整个结果集加载到内存中。然而，对于拥有例如 80000 个此类数据实例的客户来说 - 它仍然使内存增加 50 mb - 然后会下降约 20 mb 并在相当长的一段时间内保持在该水平。如果我在 jconsole 上执行执行 GC，它也会释放剩余的 30 MB。不知道是什么原因导致这种情况持续一段时间。此外，对于在 1.2 GB 内存上运行的应用程序来说，50 MB 的峰值也是 Not Acceptable 。对于较大的客户端，它会增加 400 MB 并卡住应用程序或发生 OOM。有什么建议我们如何实现这一目标？请注意 - 我已经在另一个地方实现了同样的事情，并且在 5 秒内下载了一个大小相同但数据不同(6 列)的文件，并且内存峰值仅为 5 mb。在本例中，存储过程在 Sql Mnagament studio 上运行时只用了 4 秒。但我遇到一个巨大的峰值，查询本身需要 45 秒才能运行，并且更多基于数据，因为它通过了大量验证。这会产生不良影响吗？我希望不会，因为我们在准备好的 setFetchSize() 上获取 1000 block

这是代码片段

Connection connection = null;
        PreparedStatement statement = null;
        ResultSet rs = null;
        OutputStream outputStream = null;
        BufferedWriter bufferedWriter = null;
        try
        {
            response.setContentType("application/save");
            response.setHeader("Content-Disposition", "attachment; filename="
                    + link.getFileName());

            outputStream = response.getOutputStream();

            bufferedWriter = new BufferedWriter(new OutputStreamWriter(
                    outputStream));

            connection = dataSource.getConnection();
            statement = connection.prepareStatement(link.getQuery());

            statement.setFetchSize(1000);
            statement.setInt(1, form.getSelectedClientId());

            rs = statement.executeQuery();

            while (rs.next())
            {

                bufferedWriter
                        .write(getCsvRowString(new String[]
                        { rs.getString(1), rs.getString(2), rs.getString(3),
                                rs.getString(4), rs.getString(5),
                                rs.getString(6), rs.getString(7),
                                rs.getString(8), rs.getString(9),
                                rs.getString(10), rs.getString(11),
                                rs.getString(12), rs.getString(13),
                                rs.getString(14), rs.getString(15),
                                rs.getString(16), rs.getString(17),
                                rs.getString(18) }));

            }

        } catch (final Exception e)
        {
            log.error("Error in downloading extracts " + e.getMessage());
            throw e;
        } finally
        {
            if (bufferedWriter != null)
            {
                bufferedWriter.flush();
                bufferedWriter.close();
            }
            if (outputStream != null)
            {
                outputStream.close();
            }

            rs.close();
            statement.close();
            connection.close();
        }

Answer 1

可能古老的 MS SQL JDBC 驱动程序忽略了 setFetchSize() 提示(请参阅此答案 https://stackoverflow.com/a/1982109/116509 )。尝试像在 Horizo​​n 上一样使用 jTDS 驱动程序。