gpt4 book ai didi

python - hadoop-streaming:reduce任务如何计算缩减的输入大小?以及如何解决?

转载 作者:行者123 更新时间:2023-12-02 20:14:06 25 4
gpt4 key购买 nike

我在jobtracker日志中看到以下内容:

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508    
  • 我想知道hadoop如何计算出 reducer 输入以 176511226508
  • 我有两个小型工作节点,每个节点70个演出,一个 reducer ,如何解决此问题? by increasing the number of reducers?
  • 最佳答案

    检查ResourceEstimator#getEstimatedReduceInputSize()。与往常一样,围绕getEstimatedReduceInputSize函数的注释很少。必须付出一些努力来理解它。

    关于python - hadoop-streaming:reduce任务如何计算缩减的输入大小?以及如何解决?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7984418/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com