Hadoop ResourceManager 无法启动

Question

我收到以下错误，但 netstat 显示 8088 未使用。

这是一个 3 节点集群，Namenode、Jobtracker、Datanode 运行在不同的 EC2 实例上

2014-02-04 02:49:43,519 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:262)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:623)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:655)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:872)
Caused by: java.net.BindException: Port in use: jobtracker.hdp-dev.XYZ.com:8088
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:742)
        at org.apache.hadoop.http.HttpServer.start(HttpServer.java:686)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:257)
        ... 4 more
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer.openListener(HttpServer.java:738)
        ... 6 more
2014-02-04 02:49:43,522 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at name01.hdp-dev.XYZ.com/10.xxx.xxx.xxx
************************************************************/

Answer 1

在基于 Debian 的系统上，您可以运行类似apt-cache policy zookeeper 在终端。该命令将列出包 zookeeper 可用的所有存储库。如果软件包 zookeeper 可从两个或更多存储库获得:例如:Ubuntu 的 Raring Universe 存储库和 CDH 存储库。所以，你有问题。特别理解这可能是包混合/匹配问题

解决方案是:在 /etc/apt/preferences.d/cloudera.pref 创建一个包含以下内容的文件:

Package: *
Pin: release o=Cloudera, l=Cloudera 
Pin-Priority: 501

创建此文件后不需要apt-get update。在这里，包的默认优先级是 500。通过创建上面的文件，您可以为任何源指定为“Cloudera”(o=Cloudera)并且来自 Cloudera 的 repo(l=Cloudera)的包提供更高的优先级 501 , 这就是诀窍..希望这有帮助..