apache-spark - 使用 YARN 客户端模式时如何防止 Spark Executors 丢失？

Question

我有一个 Spark 作业，它在本地运行良好，数据较少，但当我将其安排在 YARN 上执行时，我不断收到以下错误，慢慢地所有执行器都会从 UI 中删除，我的作业失败

15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated
15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com: remote Rpc client disassociated

我使用以下命令在yarn-client模式下调度Spark作业

 ./spark-submit --class com.xyz.MySpark --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=512M" --driver-java-options -XX:MaxPermSize=512m --driver-memory 3g --master yarn-client --executor-memory 2G --executor-cores 8 --num-executors 12  /home/myuser/myspark-1.0.jar

这里有什么问题吗？我是 Spark 新手。

Answer 1

我有一个非常相似的问题。无论我们分配给他们多少内存，我都会丢失许多执行者。

如果您使用yarn，解决方案是设置--conf spark.yarn.executor.memoryOverhead=600，或者，如果您的集群使用mesos，您可以尝试--conf Spark改为.mesos.executor.memoryOverhead=600。

在 Spark 2.3.1+ 中，配置选项现在为 --conf spark.yarn.executor.memoryOverhead=600

看来我们没有为 YARN 本身留下足够的内存，因此容器被杀死。设置后，我们遇到了不同的内存不足错误，但不是相同的丢失执行程序问题。