hadoop - Spring XD动态部署 list

Question

我一直在大量阅读 Spring XD 文档，但无法真正理解我想实现的与 Hadoop YARN 相关的两件事。

也许他们还不被支持或永远不会被支持——可能是因为我遗漏了一些让我的场景变得不合理的东西......

1. 在 Hadoop YARN 中，ApplicationMaster 可以请求在特定主机上分配容器，即“机架感知”。这允许在 HDFS 上的数据存储位置附近执行处理。

这种功能可以作为流部署 list 中的评估属性公开吗？

请注意，我不是在谈论分区流，其中相同的容器为流中的所有模块处理相同的消息。

我想在一组容器上部署流中间的多个模块实例——这些容器还可以保存我预先存在的大型静态数据的片段。我希望根据评估规则为每次调用选择最合适的模块实例，该规则涉及将正在处理的每条消息映射到存储在其中一个容器上的关联的预先存在的大文件。

1. 一旦部署了流，是否有可能在多个容器中动态“扩展”一个模块的部署。例如，如果在部署流后流中的一个模块被证明是瓶颈，是否可以在更多容器中动态增加该模块的实例数量？

谢谢尼克

Answer 1

Is it possible to dynamically 'scale out' the deployment of one module across more containers once the stream is deployed. For instance if one module in the stream is proving to be a bottleneck once the stream is deployed can the number of instances of that module be dynamically increased across more containers?

模块的直接绑定(bind)将有助于您的情况。直接绑定(bind)允许流的模块共存于同一个容器中，并为加入集群的每个容器提供这些共存模块的动态部署。您可以找到有关此的更多信息 here