gpt4 book ai didi

java - 弗林克 : Jar file execution on Flink cluster

转载 作者:行者123 更新时间:2023-12-01 06:07:01 31 4
gpt4 key购买 nike

我正在使用 flink 集群,在 2 个不同的物理节点上有 9 个任务管理器。当我将 jar 提交给 Flink 的 Jobmanager(Master) 时,jar 到底发生了什么。我的意思是,jar 是否被分发到所有工作节点,或者函数的某些部分被重新复制到所有工作节点?

我问这个问题是因为,当我尝试运行我的应用程序时,它在本地成功运行,但在集群上运行时在 FlatMapFunction 上出现序列化错误。

最佳答案

作业管理器处理应用程序代码,将其拆分为任务和子任务,并将它们发送到任务管理器中的一个或多个(取决于任务并行性)执行槽。来自 Flink documentation :

Each worker (TaskManager) is a JVM process, and may execute one or more subtasks in separate threads. To control how many tasks a worker accepts, a worker has so called task slots (at least one).]

Check this diagram

关于java - 弗林克 : Jar file execution on Flink cluster,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42409934/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com