hadoop - 带有多个名称节点的远程文件系统上的hdfs dfs -ls？

Question

我们有两个名称节点:nnA和nnB。

从远程系统，我想查看该系统的文件和目录。

如果nnA是主要的名称节点，则可以执行hdfs dfs -Dfs.defaultFS = hdfs:// nnA -ls / path / to / files
如果nnB是主要的名称节点，则可以执行hdfs dfs -Dfs.defaultFS = hdfs:// nnB -ls / path / to / files

如果我使用的名称节点当时恰好是主要节点，那么这两个命令都可以正常工作。如果我选择使用的名称节点恰好是辅助名称节点，则会收到错误Operation category READ is not supported in state standby.
我希望能够在命令中同时指定两个namenode。从远程系统，我无法知道哪个名称节点是主要名称节点，哪个是次要名称节点，它们完全有可能偶尔切换。

这是针对我正在处理的脚本的，我真的想避免在每次调用hdfs时循环遍历可能的主要namenode。

我花了一整天的时间在Google上搜寻，但没有找到解决方案或其他与此用例有关的人

Answer 1

From the remote system I have no way of knowing which namenode is the primary and which is the secondary

首先，“次要名称节点”实际上是指一些东西，根据您得到的错误，似乎您的意思是 备用名称节点。

在 dfs.nameservices中添加 You need to refer to the $HADOOP_CONF_DIR/hdfs-site.xml ，然后就可以使用 hdfs dfs -ls hdfs://nameservice/path
相关- Any command to get active namenode for nameservice in hadoop?