apache-spark - 容器因超出内存限制而被 YARN 杀死。使用了 52.6 GB 的 50 GB 物理内存。考虑提升 spark.yarn.executor.memoryOverhead

Question

使用以下配置运行具有 1 TB 数据的 spark 作业:

33G 执行器内存
40名执行者
每个执行器 5 个内核

17 克内存开销

此错误的可能原因是什么？

Answer 1

你从哪里得到这个警告？哪些特定的日志？幸运的是，您甚至会收到警告:)。确实 17g 似乎足够了，但是您确实有 1TB 的数据。我不得不使用更多的 30g 来获得比这更少的数据。

错误的原因是yarn为不存在于执行器内存空间的容器使用了额外的内存。我注意到更多的任务(分区)意味着使用更多的内存，并且洗牌通常更重，除此之外我没有看到任何其他与我所做的对应。某种东西在不必要地消耗内存。

似乎世界正在转向 Mesos，也许它没有这个问题。更好的是，只需单独使用 Spark。

更多信息:http://www.wdong.org/wordpress/blog/2015/01/08/spark-on-yarn-where-have-all-my-memory-gone/ .这个链接似乎有点死了(这是对 YARN 吞噬内存的方式的深入研究)。此链接可能有效:http://m.blog.csdn.net/article/details?id=50387104 .如果不尝试谷歌搜索“ yarn 上的 Spark 我所有的内存都消失了”