gpt4 book ai didi

java - 如何使用Spring Batch实现步骤的分布式处理

转载 作者:塔克拉玛干 更新时间:2023-11-03 05:24:48 26 4
gpt4 key购买 nike

使用 Spring 批处理,我希望我的步骤跨节点分布,并让它们针对给定的作业执行。我有一个用例,其中一个作业有多个步骤,每个步骤都可以在托管应用程序的多个节点中运行。有人试过这个吗?任何关于相同的想法将不胜感激!

最佳答案

有两种方法:

  1. Remote chunking - 您在主节点上读取数据并在从节点上处理/写入数据

  2. Remote partitioning - 您将数据集分成多个分区,并在远程节点中读取/处理/写入您的分区。所以 master 只是协调和决定如何划分分区。

我写了一本关于 Enterprise Spring 的书,并创建了这两种方法的示例。这些是 hosted on Github .查看示例 0939 和 0940。不幸的是,所有关于如何手动运行它们的注释都只在书中。希望您能够从集成测试中弄清楚这一点。

先决条件是有消息中间件(例如ActiveMQ或HornetQ)可用于主从通信,并且它还使用Spring Integration来促进这种通信。

关于java - 如何使用Spring Batch实现步骤的分布式处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34283771/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com