Java 存储过程因 OutOfMemoryError 而停止

Question

我正在开发一个 Java 项目，它在 Tomcat 6 上运行，连接到 MySQL 数据库。所有程序都按预期运行，无论是在本地测试还是在我们客户的服务器上进行测试。然而，有一个异常(exception)，那就是一个过程，它检索大量数据以生成报告。从 MySQL 执行存储过程大约需要 13 分钟。当我在本地运行应用程序并连接到在线数据库时，该过程确实有效，唯一不起作用的时候是在我们客户端的服务器上运行时。

客户非常保护他的服务器，所以我们对它的控制有限，但他们确实希望我们解决问题。当我检查日志文件时，执行存储过程的函数没有抛出任何错误。并在代码中放置一些调试日志，它表明它确实到达了执行调用，但在调用后没有立即记录调试，也没有在 catch 中记录错误，但确实进入了 finally 部分。

他们声称 MySQL 日志中没有超时错误。

如果有人对可能导致此问题的原因有任何想法，我们将不胜感激。

更新:

在向服务器管理员唠叨了一番之后，我终于可以访问 catalina 日志了，在这些日志中，我终于发现了一个有一定意义的错误:

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space
        at java.util.Arrays.copyOf(Arrays.java:2894)
        at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:117)
        at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:407)
        at java.lang.StringBuffer.append(StringBuffer.java:241)
        at be.playlane.mink.database.SelectExportDataProcedure.bufferField(SelectExportDataProcedure.java:68)
        at be.playlane.mink.database.SelectExportDataProcedure.extractData(SelectExportDataProcedure.java:54)
        at org.springframework.jdbc.core.JdbcTemplate.processResultSet(JdbcTemplate.java:1033)
        at org.springframework.jdbc.core.JdbcTemplate.extractReturnedResultSets(JdbcTemplate.java:947)
        at org.springframework.jdbc.core.JdbcTemplate$5.doInCallableStatement(JdbcTemplate.java:918)
        at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:876)
        at org.springframework.jdbc.core.JdbcTemplate.call(JdbcTemplate.java:908)
        at org.springframework.jdbc.object.StoredProcedure.execute(StoredProcedure.java:113)
        at be.playlane.mink.database.SelectExportDataProcedure.execute(SelectExportDataProcedure.java:29)
        at be.playlane.mink.service.impl.DefaultExportService$ExportDataRunnable.run(DefaultExportService.java:82)
        at java.lang.Thread.run(Thread.java:636)

奇怪的是，这不会记录到应用程序日志中，即使它被包装在一个 try catch 中。现在基于错误，问题出在这个方法上:

public Object extractData(ResultSet rs) throws SQLException, DataAccessException
  {
    StringBuffer buffer = new StringBuffer();

    try
    {
      // get result set meta data
      ResultSetMetaData meta = rs.getMetaData();
      int count = meta.getColumnCount();

      // get the column names; column indices start from 1
      for (int i = 1; i < count + 1; ++i)
      {

        String name = meta.getColumnName(i);
        bufferField(name, i == count, buffer);
      }

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to extractData SelectExportDataProcedue: ", e);
    }

    return buffer.toString();
  }

  private void bufferField(String field, boolean last, StringBuffer buffer)
  {
    try
    {
      if (field != null)
      {

        field = field.replace('\r', ' ');
        field = field.replace('\n', ' ');

        buffer.append(field);
      }

      if (last)
      {
        buffer.append('\n');
      }
      else
      {
        buffer.append('\t');
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to bufferField SelectExportDataProcedue: ", e);
    }
  }

这些函数的目标是将某个结果集导出到 excel 文件(发生在更高级别)。

因此，如果有人对此有一些优化建议，我们非常欢迎。

Answer 1

好的，您的堆栈跟踪给了您答案:

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space

这就是为什么你没有记录，应用程序正在崩溃(线程，具体来说)。从您的描述来看，您似乎有一个庞大的数据集需要分页。

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }

这就是线程死机的地方(可能)。基本上你的 StringBuffer 内存不足。至于纠正它，有很多选择。在客户端的问题上投入更多内存(通过配置 JVM(这是一个链接)): How to set the maximum memory usage for JVM?

或者，如果您已经在这样做，请将更多 RAM 放入设备中。

从编程的角度来看，这听起来像是一份糟糕的报告。您可以将一些数字处理卸载到 MySQL 而不是在您的终端进行缓冲(如果可能)，或者，如果这是一个巨大的报告，我会考虑将其流式传输到一个文件，然后通过缓冲流读取以填充报告。

这完全取决于报告是什么。如果它很小，我的目标是在 SQL 中做更多的工作以最小化结果集。如果它是一个巨大的报告，那么缓冲是另一种选择。

您可能遗漏的另一种可能性是 ResultSet(取决于实现)可能已被缓冲。这意味着您的报告可以直接获取 ResultSet 对象并从中打印，而不是将其全部读取为字符串。当然，这样做的缺点是杂散的 SQL 异常会终止您的报告。

祝你好运，我会先尝试内存选项。您可能正在运行一些像 128 这样小得可笑的东西，而且它会很简单(我已经看到这种情况在远程管理的机器上经常发生)。