hadoop - 自动将每个节点的最大映射任务数设置为核心数？

Question

我正在努力建立一个 hadoop 集群，其中的节点都相当异构，即它们每个都有不同数量的核心。目前我必须在每个节点上手动编辑 mapred-site.xml 以填写 {cores}:

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>{cores}</value>
</property>

添加新节点时是否有更简单的方法？大多数其他值都是默认值，最大映射任务是唯一在节点之间发生变化的值。

Answer 1

如果您对某些脚本感到满意，那么以下将为您提供每台机器的“处理器”数量(这对不同的体系结构意味着不同的事情，但或多或​​少是您想要的):

cat /proc/cpuinfo | grep processor | wc -l

然后您可以使用 sed 或其他等效工具根据此输出更新您的 mapred-site.xml 文件。

所以把这些放在一起:

CORES=`cat /proc/cpuinfo | grep processor | wc -l`
sed -i "s/{cores}/$CORES/g" mapred-site.xml

一个脚注，但您可能不想将映射器的数量和缩减器的数量分别配置为核心数量，因此您可能希望将它们分成两种类型，并有一个核心备用用于数据节点和任务跟踪器等。