apache-spark - Spark集群: worker info doesn't show on web UI

Question

我已在一组集群上安装了独立的 Spark。我尝试通过集群启动脚本启动集群。我已将集群的 IP 地址添加到 conf/slaves 文件中。主站通过无密码 ssh 连接到所有从站。运行 ./bin/start-slaves.sh 脚本后，我收到以下消息:

starting org.apache.spark.deploy.worker.Worker, logging to /root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-jbosstest2.out

但是 master 的 webUI (localhost:8080) 没有显示有关worker的任何信息。但是，当我将 localhost 条目添加到我的 conf/slaves 文件中时，会显示 localhost 的工作人员信息。

没有错误消息，终端上的消息显示工作程序已启动，但 WebUI 未显示任何工作程序。

Answer 1

我也遇到了同样的问题。我注意到当我无法从从站远程登录主机:端口时。在我的 etc/hosts 文件(在 master 上)中，我有一个 127.0.0.1 master 条目(在我的 192.168.0.x master 之前)。当我从 etc/hosts 文件中删除 127.0.0.1 条目时，我可以远程登录，当我 start-slaves.sh (从主服务器)时，我的从服务器已连接