gpt4 book ai didi

hadoop - reduce任务输入不平衡如何处理?

转载 作者:可可西里 更新时间:2023-11-01 15:07:31 26 4
gpt4 key购买 nike

最近有人问我如何处理reduce任务的输入不平衡。想了想,尝试重新分配数据,但没有想出好的解决办法。有什么建议吗?

最佳答案

实际上你有两种方法。

  1. 增加 reduce 的数量,这样您的数据可能会更好地分布在任务中
  2. 重写分区程序以更好地在任务上分配 key 。 [1]

[1] http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/mapreduce/Partitioner.html

关于hadoop - reduce任务输入不平衡如何处理?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7334701/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com