java - Mapreduce任务不在伪分布式hadoop中并行运行

Question

我在伪分布式模式下的单节点群集上使用hadoop。我的系统有16个核心，但是hadoop一次只能运行一个映射或 reduce task ，因此无法充分利用所有核心。我将conf / mapred-site.xml更改为以下内容，但仍然无法使用。谁能告诉我可能是什么问题及其解决方案。

<configuration>

    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

    <property>
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>4</value>
    </property>

    <property>
        <name>mapred.tasktracker.reduce.tasks.maximum</name>
        <value>4</value>
    </property>

    <property>
        <name>mapred.map.tasks</name>
        <value>4</value>
    </property>

    <property>
        <name>mapred.reduce.tasks</name>
        <value>4</value>
    </property>

</configuration>

Answer 1

如果您正在分析的文件大小小于块大小(hdfs-default.xml中的dfs.blocksize)，则不会分割文件，并且仅运行一个映射任务，尽管您已配置了许多映射器。尝试分析更大的文件或减小块大小；将创建多个拆分以及相同数量的映射器。