Hadoop 2.5.1 作业卡在 map 0% 和 reduce 0%

Question

我正在尝试运行一个字数统计示例。我当前的测试设置是:一台机器上的 NameNode 和 ResourceManager (10.38.41.134)。另一个 (10.38.41.135) 上的 DataNode 和 NodeManager。他们可以在没有密码的情况下在它们之间进行 ssh。

阅读日志时，我没有收到任何警告，除了安全警告(我没有将其设置为测试)和 containermanager.AuxServices 'mapreduce_shuffle' 警告。提交示例作业后，节点会对其使用react并输出日志，这表明它们可以很好地通信。 NodeManager 输出内存使用情况，但作业没有变化。

我应该从哪里开始寻找问题？我能找到的其他所有内容要么是旧的，要么是不相关的。我遵循了 2.5.1 版的官方集群设置教程，其中有太多问题没有得到解答。

我的配置文件如下:

核心站点.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://10.38.41.134:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
  <name>dfs.namenode.rpc-bind-host</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>dfs.namenode.servicerpc-bind-host</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
  <value>NEVER</value>
  <description>
  </description>
</property>
<property>
  <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
  <value>false</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>The runtime framework for executing MapReduce jobs.
  Can be one of local, classic or yarn.
  </description>
</property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>300</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
      <name>mapreduce.jobtracker.address</name>
      <value>10.38.41.134:50030</value>
  </property>
</configuration>

其他都是默认的。

Answer 1

我建议您首先尝试让它与单个服务器集群一起工作，这样更容易调试。当它起作用时，继续使用两个节点。

如前所述，内存可能是个问题。在不调整设置的情况下，似乎最小 2GB，我建议每台服务器至少 4GB。还要记得检查作业的日志(在 logs/userlogs 下，尤其是 syslog)。

附言我和您一样对旧的/不相关的文档感到沮丧。