hadoop - Map Reduce 插槽定义

Question

我即将成为一名 Cloudera Hadoop 管理员。从一开始，我就听到很多关于 Hadoop 集群中每台机器计算槽的信息，比如定义 Map Slot 和 Reduce 槽的数量。

我在互联网上搜索了一个日志时间来获取 Map Reduce Slot 的新手定义，但没有找到。

浏览 PDF 解释 Map Reduce 配置时，我真的很生气。

当涉及到集群机器中的计算插槽时，请解释它的确切含义。

Answer 1

在 map-reduce v.1 中，mapreduce.tasktracker.map.tasks.maximum 和 mapreduce.tasktracker.reduce.tasks.maximum 用于在 mapred-site.xml 中相应地配置 map slots 和 reduce slots 的数量。

从map-reduce v.2 (YARN)开始，container是一个更通用的术语，用来代替slots，containers表示节点下可以并行运行的最大任务数，不管是Map task，Reduce task还是应用程序主任务(在 YARN 中)。