apache-flink - Flink 任务槽在设置算子并行度大于默认并行度时分布不均匀

Question

我在包含 3 个任务管理器(在 3 个 Kubernetes pod 之上)的集群上运行 Flink 作业。作业的默认并行度为 9，其中一个运算符设置为并行度 18。Job的任务槽数设置为18(最大并行度值)。

我观察到以下行为:

设置为并行度 18 的运算符在所有任务槽之间平均分配。

所有其他运算符(设置为默认值 - 9)均未平均分配。例如:

• TM1:运行 2 个子任务
• TM2:运行 5 个子任务
• TM3:运行 2 个子任务

谁能解释一下-

• 是什么导致了这种分布不均？
• 我能否控制要平衡的运算符(operator)分配？我该怎么做？

(使用 Flink v1.6.3 运行)

Answer 1

目前，Flink 不支持控制任务在不同的 TaskManager 之间的分布方式。 Flink 假定所有槽都是相等的，因此不会尝试均匀分布任务。不过，社区希望添加此功能。这是 respective issue .

更新

该问题已在 Flink >= 1.9.2 中修复。为了能够分散任务，您必须在 flink-conf.yaml 中配置 cluster.evenly-spread-out-slots: true。