apache-spark - 以编程方式确定 Spark 可用的核心数量和内存量

Question

Spark Web UI 显示了有关整个集群可用资源的一些有趣信息。

我对以下值特别感兴趣:

• worker
• 核心
• 内存

如何以编程方式查询有关整个集群的这些信息？

Answer 1

Spark 并没有真正公开此类信息，它全部隐藏在 Master 中并传输到 WebUI。

但是，您可以使用一个小技巧，WebUI 通过将/json/附加到页面来支持 JSON。

所以，转到 http://<master-host>:<master-port>/json/将仅返回您要查找的信息:

{
  url: "spark://<host>:<port>",
  workers: [ ],
  cores: 0,
  coresused: 0,
  memory: 0,
  memoryused: 0,
  activeapps: [ ],
  completedapps: [ ],
  activedrivers: [ ],
  status: "ALIVE"
}