java - Spring 批处理 : Propagate exception encountered in partitioned step (Stop job execution)

Question

背景

我目前有一个读取平面文件的 spring-batch 作业。该作业使用 MultiResourcePartitioner 来读取已拆分为 N 个较小文件的文件的物理分区。这意味着文件的每个物理分区将导致执行读取该分区的新从属步骤。

问题

如果读取任何物理分区时出现任何问题，则该从属步骤的执行将失败，并且 Spring Batch 将记录该异常。这不会影响正在读取文件的不同物理分区的其余从属步骤的执行；然而，这不是期望的行为。我想要的是，如果读取特定物理分区时出现问题(例如:无法解析特定列)，则应将异常传播到启 Action 业的位置，以便我可以停止任何进一步的处理。

当前实现execute AbstractStep 中的方法捕获 Throwable 并通过记录异常来抑制异常。因此，异常不会传播到启 Action 业的位置，并且无法停止其余从属步骤的执行。

如何使 spring-batch 将从属步骤中发生的任何异常一直传播到启 Action 业的位置？我想这样做，以便在处理任何分区文件时出现问题时可以停止任何进一步的处理。

Answer 1

If there is any issue reading any physical partition, the execution of that slave step will fail and the exception will be logged by spring batch. This does not impact the execution of the remaining slave steps that are reading different physical partitions of the file; however, this is not the desired behavior.

我认为“这不会影响其余从属步骤的执行”这一事实是理想的行为。通常，将一大块工作划分为并行执行的较小任务背后的想法是，任务应该彼此独立，并且一个失败不应该不影响其他任务。如果存在需要一个任务失败才能停止其他任务的逻辑，则意味着任务没有明确定义为独立的，并且在本地/远程分区步骤中执行它们一开始就不是合适的选择。

What I want is that if there is an issue reading a particular physical partition (Example : not being able to parse a particular column), the exception should be propagated to the location where the Job was launched so that I can halt any further processing.

为此，您需要一个自定义的PartitionHandler。这是协调 worker 步骤的部分。默认行为是等待所有工作步骤完成并汇总结果，然后再向主作业报告。您的自定义实现应该检测任何工作步骤的失败并通知其他人停止。

此外，如果其中一个工作人员失败，则停止/使所有工作人员失败的这种设计不适合作业重新启动。这意味着重新启 Action 业将重新启动所有分区，这并不是分区作业的目标，即只应重新启动失败的分区。