hadoop - Webhdfs 返回错误的数据节点地址

Question

curl -i -X PUT "http://SomeHostname:50070/webhdfs/v1/file1?op=CREATE"
HTTP/1.1 307 TEMPORARY_REDIRECT
Content-Type: application/octet-stream
Location: http://sslave0:50075/webhdfs/v1/file1?op=CREATE&overwrite=false
Content-Length: 0
Server: Jetty(6.1.26)

这里它返回 datanode 的 sslave0，对我来说似乎是一个内部地址

Answer 1

使用 WebHDFS，NameNode Web 接口(interface) @port 50070 在您的案例中接受放置请求并分配有关要存储的文件的元数据信息。然后它返回一个重定向到数据节点地址(ssalve0:50075 地址)，实际的 Http PUT 已完成。

底线 - 名称节点不存储任何真实数据，仅存储元数据。它是存储文件实际信息的数据节点 - 因此重定向

如果你想要一个单一的代理节点，你不必以这种方式处理数据节点，那么你想要配置HttpFs相反。