rest - 通过 REST API [MapR 6.1/Hadoop-2.7] 从 Yarn 查询节点标签拓扑

Question

有一个 Java 和 CLI 接口(interface)可以查询 Yarn RM 的节点到节点标签(和反向)映射。有没有办法通过 REST-API 来做到这一点？最初的 RM-API 搜索显示只有基于节点标签的作业提交是一个选项。

遗憾的是，这实际上在 MapR-Hadoop(截至 6/6/19 的 6.1)中被破坏了，所以我的代码必须通过实现正确的调度本身来解决这个问题。这可以使用 YarnClient Java API(几乎没有 - 这里还有更多损坏的 API)。

但由于我想同时针对不同的资源管理器安排作业，在防火墙后面，REST-API 是实现此目的最引人注目的选择，而 YarnClient API 的 RPC 后端不容易传输。

我目前最坏的解决方案是以某种方式解析 YARN-WebUI。

Answer 1

到目前为止我找到的唯一解决方案:请求 /ws/v1/cluster/nodes - 这会为您提供所有节点。

FlatMap/Distinct 在每个 node 的 nodeLabels 上，如果您只需要节点标签列表。如果您需要指定标签的所有节点，则按 nodeLabel 过滤。

这确实意味着，您总是必须查询所有 节点，然后按NodeLabels 排序/过滤/排列，这是很多客户端魔术。但显然没有 GetNodesToLabel甚至 GetClusterNodeLabels帮助我们。

我假设 getLabelsToNodes只是一个客户端实现，因为协议(protocol)没有定义 API，所以这对 REST 来说是不可能的，除非在 WebService 中实现。