java - 如何从 spark 应用程序的代码中监控/生成 CPU/RAM 利用率的汇总报告？

Question

我知道 ganglia 可以用来监控像 Spark 这样的集群中的资源利用率。但它会为我的申请提供一份总体报告。

但是如果我想知道我的代码的特定部分使用了多少资源，有什么办法吗？

A
My code
B

例如，我想知道从 A 到 B 的 CPU/RAM 利用率。我可以在代码中计算运行时间，即 spark 的 java 应用程序，但我不知道如何具体知道它的资源利用率部分。我有一个想法，如果我能以某种方式在 B 生成报告(比如为神经节报告调用 api)，它基本上可以向我显示 B 所使用的资源。虽然它不会排除 A 之前的任何内容，但它现在对我有用如果存在这样的解决方案。

提前谢谢你。

Answer 1

显然是新项目 sparkoscope似乎可以解决这个问题，即从源代码级别进行监控。然而，他们的项目没有很好的记录，所以我在将他们的项目投入工作时遇到了麻烦。然而，这是一个开始。希望它能帮助像我这样的人。