hadoop - 如何从客户端节点运行hadoop balancer？

Question

我想问一下如何运行hadoop平衡器？我之前曾在namenode上尝试过运行hadoop balancer命令，但它根本没有任何效果(我的新datanode仍然为空)。我还读到hadoop balancer不是在namenode上运行，而是在客户端节点上运行。那么客户端节点是什么，我该如何配置它，以及客户端节点如何访问hadoop文件系统？

谢谢大家，我需要你的建议

Answer 1

客户端节点也称为边缘节点，通常，组织中的所有开发人员都无法访问群集上的所有节点。因此，对于开发人员来说，访问集群通常会拥有一个Client节点。您需要在客户端节点上安装hadoop-client软件包。如果您正在使用基于cloudera RPM的安装，则可以使用以下命令。

sudo yum install hadoop-client

安装客户端节点后，更新您的配置文件，例如core-site.xml，hdfs-site.xml和其他必需文件。现在，当您执行hadoop CLI命令时，它们将在集群上执行。

平衡器可以从群集中的任何节点运行。它可以是客户端计算机/群集中的任何节点。

sudo -u hdfs hdfs balancer

对于新添加的datanode，只需检查namenode Web UI是否添加了节点？如果您可以在那里看到，只需检查日志即可。