rest - YARN集群模式下的Spark监控REST API

Question

Spark部署在YARN集群模式下，如何发出Spark监控REST API调用http://spark.apache.org/docs/latest/monitoring.html ？

YARN 是否有一个以 REST 调用为例的 API(我已经知道应用程序 ID)

http://localhost:4040/api/v1/applications/[app-id]/jobs

，将其代理到正确的驱动程序端口，并将 JSON 返回给我？ “我”是指我的客户。

假设(或已经按照设计)由于安全原因我无法直接与驱动程序计算机对话。

Answer 1

请查看spark docs-REST API

是的，最新的 API 可用。

通过这篇文章 It turns out there is a third surprisingly easy option which is not documented. Spark has a hidden REST API which handles application submission, status checking and cancellation.

除了在 UI 中查看指标外，它们还可以 JSON 形式提供。这为开发人员提供了一种为 Spark 创建新的可视化和监控工具的简单方法。 JSON 可用于正在运行的应用程序和历史服务器。端点安装在/api/v1。例如，对于历史服务器，通常可以通过 http://:18080/api/v1 访问它们，对于正在运行的应用程序，可以通过 http://localhost:4040/api/v1 访问它们。 .

这些是其他可用选项..

• Livy 作业服务器

提交Spark jobs remotely to an Apache Spark cluster Linux using Livy

其他选项包括

Triggering spark jobs with REST