gpt4 book ai didi

debugging - 为什么一个mapreduce作业的本地字节写值比其他大?

转载 作者:行者123 更新时间:2023-12-02 21:42:11 25 4
gpt4 key购买 nike

我编写了一个mapreduce过程,发现一个reduce作业比其他的慢(所有map作业都完成了)。然后我发现“写入的本地字节数”是:2,159,972,481,这比其他的大约多十倍。含义和原因?
如何解决这个问题呢?
谢谢。

最佳答案

就像@mbaxi所说的那样,可能是您的文件偏斜了。使用散列函数将映射输出中的记录分布在键上。因此,如果文件倾斜,则减少节点的工作量将超过其他节点。是否有意义?

关于debugging - 为什么一个mapreduce作业的本地字节写值比其他大?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27980809/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com