java - ItemProcessor 的 Spring Batch 瓶颈

Question

我需要将一些数据从一个表迁移到另一个表，并在两者之间进行一些处理。处理是专有的，并作为 REST 服务公开。因此，我需要调用 REST 服务从表中读取记录，然后将处理后的记录写入另一个表中。如何将其实现为 Spring Batch，以便我可以对多个记录并行进行 REST 调用，因为我预计每条记录都会花费大量时间？我计划在 ItemProcessor 中进行 REST 调用，仅接受 process 方法中的单个 Item。

Answer 1

当处理是瓶颈时，可以使用:

• AsyncItemProcessor:这将异步处理项目，并有助于扩展处理。在此处查看有关此组件的更多详细信息:https://docs.spring.io/spring-batch/4.0.x/reference/html/spring-batch-integration.html#asynchronous-processors

• 远程分块:使用此可扩展性选项，您可以将数据发送到远程工作人员进行处理。这可以帮助您根据需要添加更多工作人员来水平扩展处理。本节中有关远程分块的更多详细信息:https://docs.spring.io/spring-batch/4.0.x/reference/html/spring-batch-integration.html#remote-chunking

在选择可扩展性选项时，您需要注意一些重要的注意事项，详细信息如下:https://stackoverflow.com/a/20342308/5019386