rest - Spark REST 端点 url - 无法访问

Question

我在集群模式下使用 spark diver 在 yarn 上运行 spark streaming 作业。我想访问此 link 中描述的 REST 端点.

Spark Version is 2.1

根据文档，可以在“http://localhost:4040/api/v1”访问正在运行的应用程序端点

在资源管理器 UI 上，单击特定应用程序，然后单击 Application Master 跟踪 url 以获取主机名。还是不行。

How do i find the node instead of localhost in the above url?

上面链接中给出的另一个选项是使用基本 url“http://:18080/api/v1”。

我按上述方式通过 RM 进行了同样的尝试，但没有成功。

How do i find the for the above url?

Answer 1

当您在 Resource Manager UI 中单击“Application Master”链接时，URL 应该类似于“http://xxxxxxxx/proxy/application_121213133_1121212”。您只需在此 URL 末尾添加 /api/v1 即可访问 API。