gpt4 book ai didi

ssh - Flink Jobmanager 看不到任务管理器

转载 作者:行者123 更新时间:2023-12-01 15:54:10 25 4
gpt4 key购买 nike

所以我在我们的网络上安装了一个 apache flink 集群。我已经完成了如下所示的配置。这个Master(JobManager)启动,通过ssh向所有slave发送启动命令。我可以看到任务管理器在被主节点启动后正在运行。

所有节点上的配置文件:

jobmanager.rpc.address: flmaster
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 1024
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 1
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /apps/storage/runtime/flink/workspace
recovery.mode: zookeeper
recovery.zookeeper.quorum:zk1:2181, zk2:2181, zk3:2181
recovery.zookeeper.storageDir: /apps/runtime/flink/recovery
env.java.home: /apps/java/

然后我在配置文件夹中有一个名为 slaves 的文件,其中包含从节点列表。

flSlave1
flSlave2
flSlave3

然后开始

../bin/start-cluster.sh

这将打开一个到所有从属节点的 ssh session ,并启动任务管理器。我可以用 ps ax | 看到这个grep Java

我可以在 flMaster:8081 上打开 Web-Ui在 WebUI 上,我可以看到从属节点数为 0。我没有任务管理器。作为测试,我启动了 wordcount.jar 作业,它告诉我它无法运行该作业,因为没有打开的插槽。

/apps/flink/bin/flink run /apps/flink/examples/batch/WordCount.jar

响应:

07/20/2016 13:19:01     Job execution switched to status FAILING.
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Not enough free slots available to run the job.*

好吧,我想如果没有任务管理器/从节点,就不会有槽。

有人见过这个问题吗?

最佳答案

使用完全限定的主机名而不是短名称。例如 hostname.xyx.com 而不仅仅是主机名。或者您也可以尝试使用 ip 地址。

关于ssh - Flink Jobmanager 看不到任务管理器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38496029/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com