hadoop - 在小节点上搭建hadoop集群

Question

我正在四个非常小的虚拟服务器(2GB RAM，每个 2Cores)上准备 hadoop 集群，以进行概念验证。
一台服务器作为名称节点和资源管理器，三台作为数据节点。

每次我运行测试作业(包含数据的 3.4 GB 文件)时 - 两个数据节点(随机的)以最大能力工作，其中一个正在休眠(通过 htop 监控)。
所有 3 个数据节点都在 hadoop GUI 中可见。
我错过了什么？

任何帮助都感激不尽。

yarn 站点.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop-master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop-master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop-master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop-master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop-master:8088</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/opt/hadoop/hadoop/dfs/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.name.dir</name>
    <value>/opt/hadoop/hadoop/dfs/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.blocksize</name>
    <value>67108864</value>
</property>

Answer 1

我找到了解决方案。
为了增加文件 mapred-site.xml 中 reducer 的数量，我添加了

<property>
    <name>A</name>
    <value>5</value>
</property> 

在我向集群添加了额外的节点之后，hadoop 增加了映射器，而没有对配置进行任何额外的更改。所有数据节点现在都在最大能力工作。