gpt4 book ai didi

apache-spark - 启动单个 Spark Slave(或 Worker)

转载 作者:行者123 更新时间:2023-12-03 07:08:42 25 4
gpt4 key购买 nike

当我这样做时

spark-1.3.0-bin-hadoop2.4% sbin/start-slave.sh

我收到这条消息

failed to launch org.apache.spark.deploy.worker.Worker:
Default is conf/spark-defaults.conf.

即使我有这个:

spark-1.3.0-bin-hadoop2.4% ll conf | grep spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix 507 Apr 29 07:09 spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix 507 Apr 13 12:06 spark-defaults.conf.template

知道为什么吗?

谢谢

最佳答案

我使用的是spark 1.6.1,不再需要指定worker号,所以实际使用情况是:

start-slave.sh spark://<master>:<port>

关于apache-spark - 启动单个 Spark Slave(或 Worker),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29936821/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com