Hadoop MapReduce (Yarn) 使用不同功率/规范的主机

Question

我目前在集群中有高功率 (cpu/ram) 主机，我们正在考虑添加一些存储良好但功率低的主机。

我担心的是它会降低工作绩效。来自新的(功能较弱的)主机的 Map/Reducer 将运行得更慢，而功能更强大的将只需要等待结果。

有没有办法在 Yarn 中配置它？也许为主机设置优先级或根据每台机器上的核心数分配映射器/缩减器。

谢谢，霍拉修

Answer 1

在 YARN 中，您可以为每个集群 worker 提供不同的硬件资源配置。然后，YARN 将决定可以为每个工作人员分配多少任务(容器)以平衡工作量。

换句话说，您可以在 yarn-site.xml 中为每个 worker 分别设置不同数量的内核和内存。

这两个配置选项与您相关:

• yarn.nodemanager.resource.cpu-vcores 设置每个当前工作节点的 CPU 内核数
• yarn.nodemanager.resource.memory-mb 设置可在当前工作节点使用的物理内存量(以 MB 为单位)