gpt4 book ai didi

apache-flink - flink中的作业,任务和子任务之间的区别

转载 作者:行者123 更新时间:2023-12-04 22:27:05 27 4
gpt4 key购买 nike

我是flink的新手,并试图理解:

  • 工作
  • 任务
  • 子任务

  • 我搜索了 docs,但还是没有得到。它们之间的主要区别是什么?

    最佳答案

    此处说明了任务和子任务-https://ci.apache.org/projects/flink/flink-docs-release-1.7/concepts/runtime.html#tasks-and-operator-chains:

    enter image description here

    任务是代表可以在单个线程中执行的一系列操作符的抽象。诸如keyBy(导致网络改组通过某个 key 对流进行划分)之类的事情,或者管线并行性的改变都会破坏链接,并迫使运营商分担不同的任务。在上图中,该应用程序具有三个任务。

    子任务是任务的一个并行切片。这是可调度的,可运行的执行单元。在上图中,源/ map 和keyBy/Window/apply任务的应用程序并行度为2,接收器的并行度为2,从而运行了该应用程序-总共有5个子任务。

    作业是应用程序的运行实例。客户将作业提交给作业管理器,作业将其切成子任务并安排这些子任务供任务管理器执行。

    更新:

    社区决定重新调整任务和子任务的定义,以匹配这些术语在代码中的使用方式-这意味着任务和子任务现在具有相同的含义:一个运算符(operator)或一个运算符(operator)恰好是一个并行实例链。有关更多详细信息,请参见Glossary

    关于apache-flink - flink中的作业,任务和子任务之间的区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53610342/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com