hadoop - YARN 容器启动失败

Question

我无法在配置单元上运行查询。查询在启动 map reduce 操作后立即失败 (MAP 0% REDUCE 0%)。在nodemanager日志中发现如下错误。

2017-03-16 11:53:03,581 ERROR [ContainerLauncher #0] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Container launch failed for container_1489041811986_0005_01_000002 : java.lang.IllegalArgumentException: Does not contain a valid host:port authority: slave_1:60805
    at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:213)
    at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
    at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:153)
    at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.newProxy(ContainerManagementProtocolProxy.java:258)
    at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy$ContainerManagementProtocolProxyData.<init>(ContainerManagementProtocolProxy.java:244)
    at org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy.getProxy(ContainerManagementProtocolProxy.java:129)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl.getCMProxy(ContainerLauncherImpl.java:409)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:138)
    at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我猜它无法将主机名 slave_1 映射到它的 ip。任何帮助将不胜感激。谢谢。

Answer 1

我遇到了同样的错误，并通过以下步骤解决了好几天:

• 打开文件/etc/hosts;
• 由于您的错误消息是“不包含有效的主机:端口authority: slave_1:60805", 中应该有一个值为 "salve_1"文件“/etc/hosts”，例如:“127.0.0.1 salve_1”或“127.0.1.1salve_1";
• 您需要删除此主机名的字符“_”或“-”，并且然后再试一次。在您的示例中，您可以将其更改为“slave1”；

在我的例子中，我删除了主机名中的“-”字符，然后它就起作用了。希望它对你有用。