hadoop - 如何为每个节点(机器)配置hadoop映射器num

Question

我有个问题

我的问题是我有一个将 mapred.map.tasks 配置为10的作业(抓取工具)，这意味着我的工作将一次创建10个映射器。但是我的集群将 mapred.tasktracker.map.tasks.maxium 配置为12

那么所有的映射器每次都会在一台机器上创建

我如何将所有映射器分发到所有同类机器!

非常感谢

这有点像mapper.per.node所做的事情，但是我听说有人说配置已删除。
1何时删除了mapper.per.node？
2我现在该怎么办？

Answer 1

理想情况下，您应该将mapred.tasktracker.map.tasks.maximum值设置为TaskTracker节点上存在的核心数。因此，假设您在每个节点上具有4个核心，并且该作业产生了10个 map task ，则可以在TaskTracker上运行的 map task 的最大数量为4。