gpt4 book ai didi

hadoop-yarn - 在 YARN 集群中提交作业之前,Flink TaskManager 不会启动

转载 作者:行者123 更新时间:2023-12-04 01:52:20 26 4
gpt4 key购买 nike

我正在使用 Amazon EMR 在 YARN 上运行 Flink 集群。我的设置包括用于 1 个主节点和 2 个核心节点的 m4.large 实例。我已经使用以下命令在 YARN 上启动了 Flink CLuster:flink-yarn-session -n 2 -d -tm 4096 -s 4 .

Flink 作业管理器和应用程序管理器启动,但没有运行任务管理器。 Flink Web 界面显示 0 表示任务管理器、任务槽和可用槽。但是,当我向 flink 集群提交作业时,任务管理器会被分配并运行,并且 Web UI 会按预期显示正确的值,并在作业完成后恢复为 0。

我希望任务管理器即使在没有提交作业的情况下也能运行,因为我想使用 Flink 的 REST API 根据可用槽值来监视和修改并行度。

是否有我错过的配置阻止任务管理器一直运行?

最佳答案

Flink 的行为在 FLIP-6 中进行了更改,以允许动态资源分配。从 Flink 1.5.0 版本开始,可以放 mode: legacy在 flink-conf.yaml 中以旧模式运行 Flink,其中任务管理器将与作业管理器一起启动。

关于hadoop-yarn - 在 YARN 集群中提交作业之前,Flink TaskManager 不会启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52439318/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com