apache-spark - SPARK + 独立集群 : Cannot start worker from another machine

Question

我一直在设置 Spark 独立集群设置 following this link .我有两台机器；第一个 (ubuntu0) 既作为 master 又作为 worker，第二个 (ubuntu1) 只是一个 worker。已经为两台机器正确配置了无密码 ssh，并通过在两侧手动执行 SSH 进行了测试。

现在，当我尝试 ./start-all.ssh 时，master 机器 (ubuntu0) 上的 master 和 worker 都已正确启动。这由 (1) WebUI 可访问(我的本地主机:8081)和 (2) Worker 在 WebUI 上注册/显示表示。但是，第二台机器(ubuntu1)上的另一个 worker 没有启动。显示的错误是:

ubuntu1: ssh: connect to host ubuntu1 port 22: Connection timed out

现在这已经很奇怪了，因为我已经正确地将 ssh 配置为双方都没有密码。鉴于此，我访问了第二台机器并尝试使用这些命令手动启动 worker:

./spark-class org.apache.spark.deploy.worker.Worker spark://ubuntu0:7707
./spark-class org.apache.spark.deploy.worker.Worker spark://<ip>:7707

然而，下面是结果:

14/05/23 13:49:08 INFO Utils: Using Spark's default log4j profile:    
                              org/apache/spark/log4j-defaults.properties
14/05/23 13:49:08 WARN Utils: Your hostname, ubuntu1 resolves to a loopback address:    
                        127.0.1.1; using 192.168.122.1 instead (on interface virbr0)
14/05/23 13:49:08 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
14/05/23 13:49:09 INFO Slf4jLogger: Slf4jLogger started
14/05/23 13:49:09 INFO Remoting: Starting remoting
14/05/23 13:49:09 INFO Remoting: Remoting started; listening on addresses :  
                                 [akka.tcp://sparkWorker@ubuntu1.local:42739]
14/05/23 13:49:09 INFO Worker: Starting Spark worker ubuntu1.local:42739 with 8 cores,  
                               4.8 GB RAM
14/05/23 13:49:09 INFO Worker: Spark home: /home/ubuntu1/jaysonp/spark/spark-0.9.1
14/05/23 13:49:09 INFO WorkerWebUI: Started Worker web UI at http://ubuntu1.local:8081
14/05/23 13:49:09 INFO Worker: Connecting to master spark://ubuntu0:7707...
14/05/23 13:49:29 INFO Worker: Connecting to master spark://ubuntu0:7707...
14/05/23 13:49:49 INFO Worker: Connecting to master spark://ubuntu0:7707...
14/05/23 13:50:09 ERROR Worker: All masters are unresponsive! Giving up.

下面是我的master和slave\worker spark-env.ssh的内容:

SPARK_MASTER_IP=192.168.3.222
STANDALONE_SPARK_MASTER_HOST=`hostname -f`

我应该如何解决这个问题？提前致谢!

Answer 1

对于那些在不同机器上启动 worker 时仍然遇到错误的人，我只想分享一下，在 conf/slaves 中使用 IP 地址 对我有用。希望这对您有所帮助!