hadoop - 使用pywebhdfs创建hdfs文件报错: [Errno -2] Name or service not known

Question

关于我的开发环境的一些信息:

开放堆栈:朱诺

hadoop: 2.4.1

pywebhdfs: 0.4.0

我通过 openstack sahara 客户端 API 创建一个 hadoop 集群，然后我想使用 pywebhdfs 创建一个文件到 HDFS (用于在创建的 hadoop 集群上启 Action 业)。但是在创建HDFS文件时出现错误，错误信息为:

HTTPConnectionPool(host='vanillacluster-vanillacluster-slave-vanilla-002.novalocal', port=50075): Max retries exceeded with url: /webhdfs/v1/user/hadoop/test/pg20417.txt?op=CREATE&user.name=hadoop&namenoderpcaddress=vanillacluster-vanillacluster-master-vanilla-001:9000&overwrite=false (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f2455bd5750>: Failed to establish a new connection: [Errno -2] Name or service not known',))

我检查了/etc/hosts，列出了所有节点的IP 和主机名。有谁知道如何检测可能的问题？谢谢

Answer 1

我通过修改文件/etc/hosts 并映射每个节点的 IP 和主机名解决了这个问题，如下所示:

x.x.x.x vanillacluster-vanillacluster-slave-vanilla-002

x.x.x.x vanillacluster-vanillacluster-master-vanilla-001