多核机器上的 Hadoop 和 map-reduce

Question

我已经阅读了很多有关在机器集群上运行的 Hadoop 和 Map-Reduce 的内容。有人知道 Apache 发行版是否可以在具有多个内核的 SMP 上运行吗？特别是，可以在同一台机器上运行多个 Map-Reduce 进程。调度程序将负责将它们分布在多个核心上。谢谢。 - 公斤

Answer 1

是的。您在每台机器上有多个 map 和 reduce 插槽，这些插槽由 RAM 和 CPU 决定(每个 JVM 实例默认需要 1GB，因此具有 16 个内核的 8GB 机器仍然应该有 7 个任务插槽)

来自 hadoop wiki

Use the configuration knob: mapred.tasktracker.map.tasks.maximum and mapred.tasktracker.reduce.tasks.maximum to control the number of maps/reduces spawned simultaneously on a TaskTracker. By default, it is set to 2, hence one sees a maximum of 2 maps and 2 reduces at a given instance on a TaskTracker.

You can set those on a per-tasktracker basis to accurately reflect your hardware (i.e. set those to higher nos. on a beefier tasktracker etc.).