java - JSR 352 : What are the best practices for Java Batch to ensure maximum performance and efficiency?

Question

我正在从数据库中执行典型的读取操作，我将在一个包含数百万(>1000 万)条记录的数据集上处理和写入一个文件步骤。

从设计或架构的角度来看，有什么需要牢记的吗？

是否还有任何需要牢记的特定于 Java-Batch 的编码实践？ (除了一般的 Java 最佳实践)

我在 Websphere liberty 上使用 IBM 的 JSR352 实现。

Answer 1

1. 不要重复读取。如果您确实确保所有内容都在内存中。想想一级缓存。
2. 确保您没有 N+1 选择。
3. 快速网络访问对于性能至关重要 - 想想 10G 网络
4. 引入并行机制。并行化从数据库读取，不要并行化文件访问，除非您知道文件系统上有超过 1 张可以并行工作的磁盘。
5. 您的数据模型是关系型的吗？是的，考虑 hibernate ，不考虑 Jdbc 模板。
6. 从数据库中大块读取。为此分配足够的内存。
7. 如果您在写入文件之前对数据进行了后期处理。并行地再做一次。
8. 如果您对数据库进行只读操作。您不需要可恢复性。操作完成或失败。如果您不需要为工作选举保留中间状态，这会给您带来额外的性能提升。