hadoop - 如何在Hadoop群集中从YARN检索可用的最大容器？

Question

我如何从Hadoop群集中的YARN的资源管理器中获取总计数，即容器的最大容量。我确实尝试过REST Api和JMX指标仅获取分配的容器和未决容器的总数。那么我有什么方法可以检索可以创建的最大容器数？

Answer 1

在YARN中，我们具有最小分配属性，因此所有容器的最小值都为该值。因此，基于此，您可以计算可以启动的最大容器数量(除以可用于 yarn 的总内存)。我认为这是获得可以启动的最大容器的唯一方法。

因此，在您的程序中，获得这两个属性，然后进行一些数学运算即可获得所需的结果。

要查找的属性是:

    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>8192</value>