Java内存限制？

Question

我正在开发一个java程序，它将文件解析为列表，然后将数据插入数据库。它在具有大量内存的服务器上运行。我需要注意 Java 限制吗？

例如，我不应该在将一 GB 数据插入数据库之前将其解析到列表中？

Answer 1

您需要担心的限制不仅仅是 Java。

存在网络带宽使用、占用数据库服务器 CPU、填满数据库事务日志、批量插入的 JDBC 性能、数据库更新索引或生成人工 key 时的缓慢情况。

如果您的输入太大，您需要将它们分成 block 并单独提交 block 。多大才算是太大取决于您的数据库。

分配人工 key 的方式可能会减慢进程速度，您可能需要提前创建批量值，例如使用 hilo 生成器。

启动一堆线程并用它们锤击数据库服务器只会导致争用并使数据库服务器更加努力地工作，因为它必须对事务进行排序并确保它们不会相互干扰。

考虑写入某种分隔文件，然后运行批量插入实用程序将其内容加载到数据库中。这样数据库实际上可以协作，它可以暂停更新索引和检查约束，并且序列和事务不是问题。它比 JDBC 快几个数量级。