java - Hadoop NodeManager个数与DataNodes个数关系

Question

NodeManager 的数量和 DataNode 的数量之间有什么关系，所以我不能为容器设置超出物理内存限制的异常？

Answer 1

节点管理器和数据节点关联

节点管理器的数量与数据节点的数量之间存在 1:1 的相关性。

• 节点管理器管理作业请求的容器
• 数据节点管理数据

Hadoop 旨在确保计算(节点管理器)尽可能靠近数据(数据节点)运行。通常，作业的容器分配在存在数据的相同节点上。

因此在典型的 Hadoop 集群中，数据节点和节点管理器都在同一台机器上运行。

内存问题:

当 yarn-site.xml 中的节点管理器相关设置错误时，您通常会遇到内存问题。

要正确设置节点管理器，您可以查看此链接中提供的答案:MapReduce job hangs, waiting for AM container to be allocated .检查 yarn-site.xml 和 mapred-site.xml 文件中指定的设置。

要了解 YARN 配置的调整，我发现这是一个很好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html