linux - Hadoop 集群中 tasktracker 上的 UnknownHostException

Question

我已经按照教程说明设置了一个伪分布式 Hadoop 集群(jobtracker、tasktracker 和 namenode 都在同一个盒子上)并且运行良好。我现在正尝试将第二个节点作为另一个 tasktracker 添加到该集群。

当我检查节点 2 上的日志时，除了 tasktracker 之外，所有日志看起来都很好。我收到下面列出的错误消息的无限循环。任务跟踪器似乎正在尝试使用主机名 SSP-SANDBOX-1.mysite.com 而不是 IP 地址。该主机名不在/etc/hosts 中，所以我猜这就是问题所在。我没有 root 访问权限，无法将其添加到/etc/hosts。

是否有任何我可以更改的属性或配置，以便它停止尝试使用主机名进行连接？

非常感谢，

2011-01-18 17:43:22,896 ERROR org.apache.hadoop.mapred.TaskTracker: 
Caught exception: java.net.UnknownHostException: unknown host: SSP-SANDBOX-1.mysite.com
        at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)
        at org.apache.hadoop.ipc.Client.call(Client.java:720)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
        at $Proxy5.getProtocolVersion(Unknown Source)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
        at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
        at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
        at org.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:1033)
        at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1720)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

Answer 1

这篇博文可能会有帮助:

http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html

简短的回答是，即使您在配置文件中指定了 IP 地址，Hadoop 也会执行反向主机名查找。在您的环境中，为了使 Hadoop 工作，SSP-SANDBOX-1.mysite.com 必须解析为该机器的 IP 地址，并且对该 IP 地址的反向查找必须解析为 SSP-SANDBOX-1.mysite .com.

因此，您需要与管理这些机器的人交谈，以伪造主机文件或提供可以做正确事情的 DNS 服务器。