hadoop - 通过带有数据节点故障转移的 webhdfs 的 webrequest

Question

我有 hadoop 集群和 hadoop 版本 apache 2.7.1

高可用且由五个节点组成

mn1 ,mn2 ,dn1,dn2,dn3

如果我们从浏览器访问 wbhdfs 以打开一个名为 myfile 的文件，该文件的复制因子 = 3并在 dn1、dn2 和 dn3 上退出

我们从浏览器发出以下命令

http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN 

因此 mn1 将此请求重定向到 dn1 或 dn2 或 dn3我们得到了文件

我们也可以通过以下命令从hadoop中获取文件

hdfs dfs -cat /hadoophome/myfile 

但是在数据节点故障的情况下(假设现在dn1和dn3都宕机了)

如果我们发出命令

hdfs dfs -cat /hadoophome/myfile 

我们可以检索文件

但是如果我们从浏览器发出 webhdfs 命令，这是我的状态

http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN 

mn1 会将请求重定向到死的 dn1 或 dn3，有时它会将请求重定向到 dn2，我可以检索文件

mn1 不应该只将 webhdfs 请求重定向到事件数据节点如何处理这个错误应该从应用程序处理吗？

Answer 1

编辑 hdfs-site.xml

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>10000</value>
</property>

此属性以毫秒为单位

你将获得 50 秒的超时时间

因为heartbeat.interval 的默认值为 3 秒

和超时将数据节点视为已死

 2 * heartbeat.recheck.interval + 10 * heartbeat.interval

所以超时= 2 *(10秒)+ 10 * 3秒= 50秒