java - 使用hibernate处理大量数据

Question

我正在使用 hibernate 来处理我的应用程序中的数据。应用程序工作正常，但我在应用程序中面临与时间相关的性能。场景是，我有一个位于远程的表，包含大约 100000 行。我必须使用某种映射将该数据插入本地数据库表(具有不同的结构)(以便我可以知道哪个远程表列相当于本地表列)。处理该数据需要 9 个小时。我正在执行 native SQL 查询。它会导致性能问题吗？任何建议将不胜感激。

Answer 1

1. 设置以下 Hibernate 属性以启用批处理:

2. 处理完一个批处理后，您需要清除 session 以清除内存。这允许您使用较小的堆大小，从而减少长时间 GC 运行的机会:

   session.flush();session.clear();

3. 使用new identifier generators如果您使用数据库序列，您可以选择 the pooled-lo optimizer 。使用 hi/lo 算法将减少序列调用并提高性能。

4. 不要使用身份生成器，因为这会禁用批处理