hadoop - MapReduce 作业停止执行

Question

我想在 Hadoop 集群上运行基于 TeraSort 的基准测试。脚本正在运行，首先它处于运行状态，但几分钟后它停留在 Accepted 状态和 FinalStatus 未定义。我想，这可能是一个资源问题，所以我像上面那样修改了 yarn-site.xml。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
  <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>2048</value>
</property>

同样的问题。您还可以在上面看到有关此过程的一些图表。当作业的进度条处于 ~9-15 % 时，它会停止。

Answer 1

请也验证为这些参数设置的值:

yarn.scheduler.maximum-allocation-mb, mapreduce.map.memory.mb, mapreduce.map.java.opts, mapreduce.reduce.memory.mb, mapreduce.reduce.java.opts

开始时 yarn.scheduler.minimum-allocation-mb 为 512MB。这将有助于调度程序以较小的增量为任务分配内存。

更新 1:此链接将有助于理解一些事情: https://www.mapr.com/blog/best-practices-yarn-resource-management

此外，根据您的环境设置输入拆分大小。为了获得最佳读取性能，您的输入拆分大小和 block 大小应该相同。