gpt4 book ai didi

hadoop - 当(减少的数量)一项作业超过群集的容量时,预期会导致什么性能损失?

转载 作者:行者123 更新时间:2023-12-02 21:06:11 29 4
gpt4 key购买 nike

我在hadoop的配置文件中为每个节点配置(映射器/还原器的数量)。

我提交了任何要指定使用的MR任务(映射器/还原器的数量)。

当(减少的数量)一项作业超过群集的容量时,预期会导致什么性能损失?

最佳答案

  • 可能未指定映射器的数量!

    设置为运行的映射器数量完全取决于
  • 文件大小
  • 块大小


  • 没有直接的方法来评估您的案例所造成的性能损失。它取决于减少的类型,并且在很大程度上取决于数据。

    例如:假设您的数据使得其中一个还原运行时间过长,然后另一个还原程序将完成并启动第二个还原作业。因此,也许在一次大的减少发生之前完成所有减少。
  • 关于hadoop - 当(减少的数量)一项作业超过群集的容量时,预期会导致什么性能损失?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41826415/

    29 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com