hadoop - 容器分配Hadoop集群中的容器大小

Question

众所周知，默认最小容器大小为1024MB
考虑以下情形:

我已经在VIRTUAL BOX中设置了Hadoop集群<1 -Master＆3 -Datanodes>。

名称节点:主节点(3GB RAM)
数据节点:data1(512MB RAM)，data2(512MB RAM)，data3(1GB RAM)。

输入文件大小:带有复制因子500MB的3(具有所有块的所有节点)

QUESTION:

1. 现在，让我说我想运行一个Mapreduce程序，容器会在data1，data2上分配吗？
根据我的结果，乔布斯在所有三个数据节点上创建了容器。

2. 我们可以通过什么方式指定要在特定节点上运行的Job？

Answer 1

Is there any way we can specify a Job to run on specific node?

您不需要控制它。 Hadoop将容器发送到存在块的datanode，因此您应该询问如何控制将块放置在何处，但我不确定为什么要这么做。

YARN有一个叫做“节点标签”的东西，它可以将特定的节点分配给特定的调度程序队列，然后您将告诉MapReduce / Tez / Spark作业在哪个队列中运行，从而使用哪个节点。

https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

lets say i want to run a Mapreduce Program, Will containers get allocated on data1, data2 ?

如果那里存在块，并且您还具有运行在datanode上的节点管理器，并且其内存足以容纳至少一个容器，则可以。

没有NodeManager和ResourceManager，将不会运行mapreduce作业