java - Spring Batch - 在作业运行期间导入数据时

Question

假设作业实例当前正在运行，并且正在对前 1000 条记录进行读取/处理/写入操作。在此期间，又有1000条记录导入数据库。在这种情况下，第一个作业实例应在处理 1000 条记录后完成(假设没有失败)。第二个实例应该触发并处理接下来的 1000 条记录。可能吗？

或者我是否必须将处理剩余 1000 条记录的责任留给步骤(意味着另一个步骤实例将启动并执行)？

Answer 1

是的，这是可能的。这取决于您如何定义选择。

例如，如果您使用 JdbcCursorItemReader，则选择会在最开始执行，因此，此时存在的所有行都会被选择并处理。在批处理处理过程中添加的行不属于此选择的一部分。

使用 JdbcPagingItemReader 的工作方式有所不同，因为它对处理的每个 block 执行查询。因此有可能选择在批处理处理期间插入的数据。但是，这可能是一个有关可重新启动性和确保所有元素都得到处理的问题。因此，在使用 PagingItemReader 时，必须确保查询为每个 block 选择相同的数据(分页读取器处理有助于每个 block 接收新行的内部状态)。您可以通过使 where 子句的一部分依赖于插入行的时间戳来确保这一点，或者添加一个状态列，并且在第一步中，您只需将当时可用的所有条目的状态设置为某个值就像“处理”一样。之后，您的读者查询只需选择这些条目即可。当然，一旦条目被处理，您还必须更新状态。