apache-spark - Spark执行内存监控

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

去年关闭。




Improve this question




我想要的是能够监控 Spark 执行内存而不是 存储内存在 SparkUI 中可用。我的意思是，执行内存 非执行程序内存 .

通过执行内存我的意思是:

This region is used for buffering intermediate data when performing shuffles, joins, sorts and aggregations. The size of this region is configured through spark.shuffle.memoryFraction (default0.2). According to: Unified Memory Management in Spark 1.6

在大量搜索答案后，我发现除了未回答的 StackOverflow 问题外一无所获，仅与存储内存相关的答案或使用 Ganglia、使用 Cloudera 控制台等类型的答案含糊不清的答案......

Stack Overflow 上似乎需要这些信息，但没有一个令人满意的答案可用。以下是 StackOverflow 搜索监控 Spark 内存时的一些热门帖子

Monitor Spark execution and storage memory utilisation

Monitoring the Memory Usage of Spark Jobs

SPARK: How to monitor the memory consumption on Spark cluster?

Spark - monitor actual used executor memory

How can I monitor memory and CPU usage by spark application?

How to get memory and cpu usage by a Spark application?

问题

Spark 版本 > 2.0

是否可以监控执行内存 Spark 的工作？通过监控，我的意思是至少看到已使用/可用，就像 SparkUI 的 Executor 选项卡中每个执行程序的存储内存一样。是还是不是？

我可以用 SparkListeners (@JacekLaskowski ?) 来做吗？历史服务器怎么样？还是唯一的办法就是通过外部工具？ Graphana、Ganglia 等？如果是外部工具，能否请您指出教程或提供一些更详细的指南？

我看到这个 SPARK-9103 Tracking spark's memory usage似乎还不可能监视执行内存。这似乎也相关 SPARK-23206 Additional Memory Tuning Metrics .

是否Peak Execution memory对任务中执行内存的使用/占用的可靠估计是什么？例如，如果 Stage UI 说一个任务在峰值时使用 1 Gb，而我每个执行器有 5 个 cpu，这是否意味着我需要在每个执行器上至少有 5 Gb 的执行内存来完成一个阶段？

我们可以使用其他一些代理来了解执行内存吗？

有没有办法知道执行内存何时开始吞噬存储内存？当我的缓存表从 SparkUI 的“存储”选项卡中消失或仅保留一部分时，是否意味着它已被执行内存驱逐？

Answer 1

回答我自己的问题以供将来引用:

我们使用 Mesos 作为集群管理器。在 Mesos UI 中，我找到了一个页面，其中列出了给定 worker 上的所有执行程序，并且可以找到执行程序的内存使用情况。这似乎是一个总内存使用量存储+执行。我可以清楚地看到，当内存填满时，执行程序就会死亡。

访问:

转到列出所有集群工作器的代理选项卡

选择 worker

选择框架 - 与您的脚本名称相同的框架

在里面，您将有一个在此特定工作线程上运行的作业的执行程序列表。

有关内存使用情况，请参阅:Mem(已使用/已分配)

驱动程序也可以这样做。对于框架，您选择具有名称的框架 Spark Cluster
如果你想知道如何以编程方式提取这个数字，请看我对这个问题的回答: How to get Mesos Agents Framework Executor Memory