ubuntu - Apache Spark 2.1.0 - 基本设置 : worker node not connecting with master node

Question

我正在尝试让两个运行 Apache Spark 的 VM 进行连接；一个主人和一个 worker 。我正在使用 VirtualBox 和 host-only网络适​​配器。虚拟机能够 ping彼此，但是当我启动工作人员时，它不会出现在主人的 Web UI 中。

我正在使用静态 IP，主服务器为 10.10.10.2和 worker 的10.10.10.3
我的 spark-env.sh文件配置为包括:

SPARK_MASTER_IP=10.10.10.2

我首先启动主节点:

./start-master.sh

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out

然后 worker :

./start-slave.sh spark://10.10.10.2:7077

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out

主节点 GUI 的结果输出:



如果我 nmap 10.10.10.2来自 worker :

Nmap scan report for 10.10.10.2
Host is up (0.00035s latency).
Not shown: 998 closed ports
PORT     STATE SERVICE
22/tcp   open  ssh
8080/tcp open  http-proxy

我不确定这是否相关，但它在 7077 上没有显示任何内容

任何帮助深表感谢!

Answer 1

SPARK_MASTER_IP Spark 2.x 中已弃用且不再使用。您可以使用:

SPARK_MASTER_HOST环境变量

-h/--host sbin/start-master.sh 的选项.