spring-batch - Spring Batch 和 Pivotal Cloud Foundry

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

5年前关闭。




Improve this question




我们正在评估 Spring Batch 框架以取代我们组织中自有的批处理框架，我们应该能够在 Pivotal Cloud Foundry (PCF) 中部署该批处理。在这方面，您能否让我们知道您对以下问题的看法:

假设我们使用远程分区策略来处理大量记录，批处理作业是否可以根据批处理作业处理的数量自动扩展云中的 Slave 节点？或者我们必须扩展适当数量的 Slave 节点并在批处理作业开始之前将它们保持在原位？

上面场景中的“grid size”参数是如何配置的？

Answer 1

你在这里有几个问题。但是，在进入它们之前，让我花点时间了解一下 PCF 上的批处理现在在哪里，然后再回答您的问题。

CF 当前状态

从 PCF 1.6 开始，Diego(CF 中的动态运行时)提供了一个名为 Tasks 的新原语。传统上，在 CF 上运行的所有应用程序都应该是长时间运行的进程。因此，为了在 CF 上运行批处理作业，您需要将其打包为一个长时间运行的进程(通常是 Web 应用程序)，然后进行部署。如果您想使用远程分区，您需要按照您认为合适的方式部署和扩展从属设备，但这一切都在 CF 之外。通过 Tasks，Diego 现在支持短期进程……也就是完成后不会重新启动的进程。这意味着您可以将批处理作业作为 Spring Boot über jar 运行，一旦完成，CF 不会尝试重新启动它(这是一件好事)。 1.6 的问题在于公开任务的 API 不可用，因此它只是一个内部构造。

在 PCF 1.7 中，发布了一个新的 API 来公开任务以供一般使用。作为 v3 API 的一部分，您将能够将自己的应用程序部署为任务。这允许您将批处理作业作为任务启动，知道它将执行，然后由 PCF 清理。考虑到这一点...

批处理作业是否可以根据批处理作业处理的数量自动扩展云中的 Slave 节点？

使用 Spring Batch 的分区功能时，有两个关键组件。 Partitioner和 PartitionHandler . Partitioner负责理解数据以及如何划分数据。 PartitionHandler负责了解将分区分发到从属设备的结构。

对于 Spring Cloud Data Flow，我们计划创建一个 PartitionHandler允许用户在 CF 上执行从分区作为任务的实现。本质上，我们期望的是 PartitionHandler将启动奴隶作为任务，一旦它们完成，它们将被清理。

这种方法允许根据分区的数量(可配置为最大值)动态启动从属的数量。

我们计划为 Spring Cloud Data Flow 做这项工作，但 PartitionHandler也应该可供该工作流程之外的用户使用。

上面场景中的“grid size”参数是如何配置的？
Partitioner真正使用了网格大小参数而不是 PartitionHandler并且旨在暗示可能有多少 worker 。在这种情况下，它可用于配置要创建的分区数量，但这实际上取决于 Partitioner执行。

结论

这是对 CF 上的批处理工作流的描述。重要的是要注意，在撰写此答案时，CF 1.7 尚未发布。它计划于 2016 年第一季度推出，届时，此功能将在不久之后推出。