hadoop - CDH WebHDFS 请求重定向到 EC2 上的本地地址

Question

我正在尝试设置一个环境，在其中我在本地运行我的一些后端，并从我的本地计算机向 EC2 实例发送请求。我有 CDH 4.5 安装程序，它工作正常。当我运行以下请求时

curl --negotiate -i -L -u:hdfs http://ec2-xx-xx-xx-xx.eu-west-1.compute.amazonaws.com:50070/webhdfs/v1/tmp/test.txt?op=OPEN

这适用于该区域中的任何 EC2 实例，但在该区域之外不起作用。如果我在本地尝试，它会返回以下错误

curl: (6) Could not resolve host: ip-xx-xx-xx-xx.eu-west-1.compute.internal

不确定在哪里可以设置为不以这种方式重定向调用？

非常感谢

Answer 1

解决这个问题最简单和最快的方法是配置你的客户端主机文件，将内部地址映射到外部地址。

WebHDFS 使用在 hdfs-site.xml 中配置的主机名，该主机名由该数据节点上的 Cloudera 代理自动配置。我不知道有什么方法可以覆盖 CDH 中每个数据节点的已配置主机名。