apache-spark - 如何将 spark-shell 连接到 Mesos？

Question

我正在尝试将 Apache Spark 设置为在 Mesos 上运行，但在终端上收到以下消息:

W0309 10:37:10.570291 4017 sched.cpp:700] Ignoring framework registered message because it was sent from 'master@127.0.1.1:5050' instead of the leading master 'master@127.0.0.1:5050'

此消息一直出现在 spark-shell 上，我无法运行任何命令。我使用以下命令启动了 spark-shell:

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

当我检查 Mesos WebUI 上的框架选项卡时，Spark Shell 被列为框架。

关于为什么我遇到上述消息并且无法从 spark-shell 运行命令的任何想法？或者，在 Mesos 上运行 Spark 有什么好的引用吗？

Answer 1

我将在这里做一些问题工作，但我假设您没有指定 --ip启动时的参数mesos-master.sh .在这种情况下，您应该将启动脚本更改为:
./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
我猜你有一个 127.0.1.1您的 /etc/hosts 中的条目(或系统上用于该分辨率的任何文件)并且 Mesos 正在解析为 127.0.1.1默认情况下。您可以使用 ip参数将其更改为 127.0.0.1如果您出于某种原因更喜欢。