- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在独立模式下运行 Spark 2.0,成功将其配置为在服务器上启动,并且还能够将 Ipython Kernel PySpark 配置为 Jupyter Notebook 的选项。一切正常,但我面临的问题是,对于我启动的每个 Notebook,我的所有 4 个工作人员都分配给该应用程序。因此,如果我团队中的另一个人尝试使用 PySpark 内核启动另一个 Notebook,那么在我停止第一个 Notebook 并释放所有 worker 之前,它根本不起作用。
为了解决这个问题,我试图按照 Spark 2.0 Documentation 中的说明进行操作。 .
所以,在我的 $SPARK_HOME/conf/spark-defaults.conf
上我有以下几行:
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true
spark.dynamicAllocation.executorIdleTimeout 10
$SPARK_HOME/conf/spark-env.sh
我有:
export SPARK_WORKER_MEMORY=1g
export SPARK_EXECUTOR_MEMORY=512m
export SPARK_WORKER_INSTANCES=4
export SPARK_WORKER_CORES=1
$SPARK_HOME/sbin/start-slaves.sh
,只有第一个worker成功启动。来自第一个 worker 的日志最终是这样的:
16/11/24 13:32:06 INFO Worker: Successfully registered with master spark://cerberus:7077
INFO ExternalShuffleService: Starting shuffle service on port 7337 with useSasl = false 16/11/24 13:32:08 ERROR Inbox: Ignoring error java.net.BindException: Address already in use
$SPARK_HOME/sbin/start-shuffle-service.sh
)然后尝试启动所有 worker (
$SPARK_HOME/sbin/start-slaves.sh
),所有 worker (1-4)也会出现问题。
最佳答案
我遇到了同样的问题,似乎通过从配置文件中删除 spark.shuffle.service.enabled 项目来使其工作(实际上我在那里没有任何与 dynamicAllocation 相关的项目),而是将它放在 SparkConf 中我请求一个 SparkContext:
sconf = pyspark.SparkConf() \
.setAppName("sc1") \
.set("spark.dynamicAllocation.enabled", "true") \
.set("spark.shuffle.service.enabled", "true")
sc1 = pyspark.SparkContext(conf=sconf)
$SPARK_HOME/sbin/start-all.sh
$SPARK_HOME/sbin/start-shuffle-service.sh
关于apache-spark - Spark 2.0 独立模式动态资源分配工作线程启动错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40788138/
我遇到的问题如下: 我几乎没有办公地点和具有不同能力(整数)的资源。 我想将所有资源分配到不同的办公地点,以找到最佳方式将它们几乎平均分配到各个地点,以便尽可能平衡所有办公地点的能力。需要牢记的几件事
我是一名优秀的程序员,十分优秀!