parallel-processing - 弗林克 : how does the parallelism set in the Jobmanager UI relate to task slots?

Question

假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8，我是否只使用 8 个任务槽？

如果我有 8 个具有 8 个槽的任务管理器，并以 8 的并行度提交相同的作业怎么办？是一回事吗？还是数据处理方式不同？

谢谢。

Answer 1

Flink 集群中任务槽的总数定义了最大并行度，但使用的槽数可能会超过实际的并行度。例如，考虑这个工作:

如果在具有 2 个任务管理器的集群中以两个并行运行，每个任务管理器提供 3 个槽，调度程序将使用 5 个任务槽，如下所示:

但是，如果基本并行度增加到 6，那么调度程序将执行此操作(请注意，在此示例中，接收器保持并行度为 1):

参见 Flink's Distributed Runtime Environment获取更多信息。