java - Spring 批处理 : Profiling a batch processing application

Question

我们如何分析作业执行时间的 Spring 批处理应用程序？是否可以知道读者和作者平均花费了多少时间？如果是这样，什么是有效或更智能的方法？

例如，从数据库中读取1000万条记录，并以csv格式输出到一个文件中。文件大小相当于 4GB。

是否有可能知道读取器和写入器执行每个 block 处理所花费的平均时间[获取大小为 20000，提交间隔为 20000]

Answer 1

首先，查看 spring batch admin 项目的实现可能是个好主意，因为这是我自己实现的基础。

但是，通常您可以从 JobExplorer 和 JobSupportDao 获得相当多的详细信息(开始时间、结束时间、读取、写入、跳过等)。这可以用于整体作业执行以及作业中的各个步骤。通过这种方式，您可以计算出相当多的指标并为工作建立配置文件。

另一种方法是拥有一组监听器，这些监听器将在作业步骤完成时记录细节。这实际上取决于您想要的分析级别。