hadoop - 如何限制每个DataNode同时运行的map任务数

Question

环境:

• Hadoop 3.0.0
• 1个NameNode，5个DataNode

我在 mapred-site.yml 上配置如下限制同时运行 3 map task :

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.tasktracker.map.tasks.maximum</name>
    <value>3</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>
<property>
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>
    <value>3</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

但是当我使用以下命令运行 TestDFSIO 基准测试时，最大实际运行的映射任务是 8，似乎设置不起作用:

yarn jar /opt/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce- 
client-jobclient-3.0.0-tests.jar \
TestDFSIO -storagePolicy HOT -write \
-nrFiles 500 -fileSize 1000MB -resFile /tmp/DFSIO-write.out

我们将不胜感激。

Answer 1

该配置参数来自旧的 Hadoop 1.x。据我所知，您使用的是 3.0.0。试试这个:

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>3</value>
</property>

您应该在每台运行 NodeManager 的主机上的 yarn-site.xml 中设置它。