java - 写入 CSV 文件导致 JVM 崩溃

Question

在现有的项目中，用户可以下载报告，它有1000万条记录，这个过程使用super csv java api从数据库获取数据并写入csv，然后通过附件发送电子邮件给用户，需要巨大的堆空间来容纳1000 万个 java 对象并将这些记录写入 csv 文件，因为该服务器崩溃并关闭，因为应用程序有许多这样的报告。有没有更好的方法来处理这个问题？我红色 sxssfworkbook 文档，它说指定的记录计数可以保留在内存中，剩余的记录将被推送到硬盘，但这用于创建 Excel 文件。是否有类似的 api 来创建 csv 文件或 sxssfworkbook 可用于创建 csv 文件？

Answer 1

用于读写 CSV 文件的 Java 库很少。它们通常支持“流式传输”，因此不存在需要将源数据或生成的 CSV 保存在内存中的问题。

Apache Commons CSV图书馆将是一个很好的起点。这是User Guide 。它支持各种风格的 CSV 文件，包括 Microsoft Excel 生成的 CSV 格式。

<小时/>

但是，我建议发送包含 1000 万条记录(例如 1GB 未压缩数据)的 CVS 文件不会让您受到运行用户电子邮件服务器的人的欢迎!该大小的文件应通过网络或文件传输服务提供。