java - 节点间通信

Question

如何使用 Dataflow Java SDK 处理节点间通信。意思是，提交给数据流管道的作业所有者是否对集群维护和调度有细粒度的控制？

似乎这是为用户自动管理的，因为 Dataflow 使用向 Kubernetes API 服务器注册的容器虚拟机。

如果需要影响集群调度的能力，我看到两种可能性 - a) 访问原始套接字(如果可用，如何？)或b) 注入(inject)用于节点间通信的代码，例如 Spark 中的“Akka”。为此，是否可以根据需要在 Transforms 或 PCollections 中开发用户定义的函数？

Answer 1

正如问题中提到的，Dataflow 是一项完全托管的服务，因此根本不需要管理集群。因此，没有影响集群调度等的API。

如果您需要在转换之间通信数据，您可以查看 side inputs 。这允许您广播 PCollection 并将其用作 DoFn 的附加输入。

如果您可以分享更具体的用例，我们可以提供有关可用内容的更多详细信息。