gpt4 book ai didi

apache-spark - 我可以在同一个节点上有一个主节点和一个工作节点吗?

转载 作者:行者123 更新时间:2023-12-04 04:18:55 26 4
gpt4 key购买 nike

我有一个 3 节点 spark 独立集群,在主节点上我也有一个 worker。当我向集群提交应用程序时,另外两个工作人员开始运行,但主节点上的工作人员保持状态加载,最终另一个工作人员在其他机器上启动。

在同一个节点上有一个 worker 和一个 master 是问题所在吗?如果是,有没有办法解决这个问题,或者我永远不应该在同一个节点上有一个 worker 和一个主人?

附言每台机器有 8 个内核,工作人员设置为使用 7 个而不是全部 RAM

最佳答案

是的,你可以,这里来自Spark web doc :

In addition to running on the Mesos or YARN cluster managers, Spark also provides a simple standalone deploy mode. You can launch a standalone cluster either manually, by starting a master and workers by hand, or use our provided launch scripts. It is also possible to run these daemons on a single machine for testing.

关于apache-spark - 我可以在同一个节点上有一个主节点和一个工作节点吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35137743/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com