gpt4 book ai didi

apache-spark - Spark worker 未连接到主设备

转载 作者:行者123 更新时间:2023-12-04 16:42:34 27 4
gpt4 key购买 nike

我想创建一个独立的Spark集群。我能够在同一节点上运行主服务器和从属服务器,但是不同节点上的从属服务器既不显示master-URL也不连接到master。

我正在运行命令:

start-slave.sh spark://spark-server:7077

其中 spark-server是我的主服务器的主机名。

我可以从worker ping主机,但是master的WebUI除了在同一台计算机上运行之外,没有显示任何worker。客户端节点正在运行工作服务器,但它是独立的,未连接到主服务器。

最佳答案

请检查主节点上的配置文件“ spark-env.sh ”。您是否已将 SPARK_MASTER_HOST 变量设置为主节点的IP地址?如果没有,请尝试设置它并重新启动主服务器和从属服务器。例如,如果主节点的IP为192.168.0.1,则其中应该包含 SPARK_MASTER_HOST = 192.168.0.1 。请注意,您无需在从属服务器上设置此变量。

关于apache-spark - Spark worker 未连接到主设备,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41056868/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com