hadoop - JobTracker 失败

Question

当我启动 Hadoop 时，除了 JobTracker 以外的所有东西都会启动(tasktracker、namenode、datanode、secondarynamenode)。

在 JobTracker 日志中，它告诉我连接到主机的端口 50030 时出现问题，即使我在 mapred-site.xml 中的端口 54311 定义了 mapred.job.tracker。我在这里误解了什么吗？为什么它一开始就尝试连接到端口 50030？

此外，出于某种原因，它试图绑定(bind)到一个地址，该地址是主机名和主机 ip 的串联，后跟端口号 50030。这正常吗？

...老实说，我不是 100% 确定我真的理解日志中的错误消息，所以我只是发布它..

2012-06-15 11:50:51,538 INFO org.apache.hadoop.mapred.JobTracker: Scheduler configured with (memSizeForMapSlotOnJT, memSizeForReduceSlotOnJT, limitMaxMemForMapTasks, limitMaxMemForReduceTasks) (-1, -1, -1, -1)
2012-06-15 11:50:51,579 INFO org.apache.hadoop.ipc.metrics.RpcMetrics: Initializing RPC Metrics with hostName=JobTracker, port=54311
2012-06-15 11:50:51,644 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2012-06-15 11:50:51,753 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50030
2012-06-15 11:50:51,755 FATAL org.apache.hadoop.mapred.JobTracker: java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind(Native Method)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:126)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:59)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer.start(HttpServer.java:425)
        at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:1628)
        at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:183)
        at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:175)
        at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:3702)

提前致谢。

编辑:在与 Chris 讨论之后，我将进行有根据的猜测，我的一位同事可能一直在使用该端口。我不知道，我会在周一看看情况是否会好转。

Answer 1

您可能会将 mapred.job.tracker 与 mapred.job.tracker.http.address 混淆。

在 mapred-site.xml 中尝试这个实验

<property>
  <name>mapred.job.tracker</name>
  <value>localhost:50031</value>
</property>
<property>
  <name>mapred.job.tracker.http.address</name>
  <value>0.0.0.0:50032</value>
</property>

然后执行您的 start-mapred.sh 并转到 http://X.X.X.X:50032/jobtracker.jsp

这应该排除受到怀疑的特定端口，并说明有两个不同的端口很重要。

您很可能是为了不同的目的而尝试在同一台机器上重复使用同一端口。