gpt4 book ai didi

hadoop - 如何获取Hadoop集群中的主机数量,其IP和机架

转载 作者:行者123 更新时间:2023-12-02 20:34:50 45 4
gpt4 key购买 nike

我正在群集上,但是我不知道群集确切有多少个主机,它们的IP和所属的机架。
我以前使用过通过Cloudera管理的集群,并从cloudera api(http://cloudera.github.io/cm_api/apidocs/v16/)获取了该信息,尤其是该(http://cm_server_host:7180/api/v16/hosts)提供了我所需要的所有信息。但是,如果集群不使用Cloudera,该怎么办?它也有 Spark ,但是由于存在Hadoop和HDFS,我认为在那里更可能找到该信息。

提前致谢!

最佳答案

您可以通过http api找到这些信息,默认情况下,该信息应在此url下可用:
http://<namenodehost>:50070
并通过YARN http api,默认情况下该URL下应可用:

http://<resourcemanagerhost>:8088/cluster/nodes

或者,您可以使用ResourceManager REST API。
http://<resourcemanagerhost>:8088/ws/v1/cluster/nodes 

有关该主题的更多信息,例如,可以在这里找到:

https://www.datadoghq.com/blog/collecting-hadoop-metrics/

关于hadoop - 如何获取Hadoop集群中的主机数量,其IP和机架,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51628935/

45 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com