apache-flink - flink中的作业，任务和子任务之间的区别

Question

我是flink的新手，并试图理解:

工作

任务

子任务

我搜索了 docs，但还是没有得到。它们之间的主要区别是什么？

Answer 1

此处说明了任务和子任务-https://ci.apache.org/projects/flink/flink-docs-release-1.7/concepts/runtime.html#tasks-and-operator-chains:



任务是代表可以在单个线程中执行的一系列操作符的抽象。诸如keyBy(导致网络改组通过某个 key 对流进行划分)之类的事情，或者管线并行性的改变都会破坏链接，并迫使运营商分担不同的任务。在上图中，该应用程序具有三个任务。

子任务是任务的一个并行切片。这是可调度的，可运行的执行单元。在上图中，源/ map 和keyBy/Window/apply任务的应用程序并行度为2，接收器的并行度为2，从而运行了该应用程序-总共有5个子任务。

作业是应用程序的运行实例。客户将作业提交给作业管理器，作业将其切成子任务并安排这些子任务供任务管理器执行。

更新:

社区决定重新调整任务和子任务的定义，以匹配这些术语在代码中的使用方式-这意味着任务和子任务现在具有相同的含义:一个运算符(operator)或一个运算符(operator)恰好是一个并行实例链。有关更多详细信息，请参见Glossary。