gpt4 book ai didi

hadoop - YARN应用程序如何估算所需资源

转载 作者:行者123 更新时间:2023-12-02 21:23:33 26 4
gpt4 key购买 nike

我想知道YARN应用程序(例如MapReduce作业)如何估算单个映射器/缩减器所需的资源(CPU,RAM)。

最佳答案

这个问题太广泛了,但我会尽力给出调查的方向。当执行Yarn应用程序时,它从资源管理器请求一些资源。 Yarn中的资源管理是通过调度程序实现的。 Yarn支持两个调度程序:

  • Fair scheduler
  • Capacity Scheduler

  • 调度程序定义规则,这些规则用于估计应用程序的“插槽”。对于某些调度程序,“插槽”仅由应用程序所需的内存(带有DefaultResourseCalculator的容量调度程序)定义。其他人也会考虑CPU的数量。

    关于hadoop - YARN应用程序如何估算所需资源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36694193/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com