gpt4 book ai didi

hadoop - 在 mapreduce 作业中,数据何时写入磁盘?

转载 作者:可可西里 更新时间:2023-11-01 14:49:49 25 4
gpt4 key购买 nike

我知道每个 mapper 将其中间数据写入磁盘,然后 reducer 将其输出转储到磁盘。在 mapreduce 作业期间是否还有其他时间数据会溢出到磁盘?我正在寻找任何可能的时间,即使它不是一份典型的工作。

最佳答案

MR 从 HDFS 获取输入,每个 map task 处理它,保存在内存中,如果超过默认的 100MB(io.sort.mb),然后它拆分到磁盘。然后 reducer 将结果输出到 HDFS 而不是磁盘。对于更多细节检查链接, https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-6/shuffle-and-sort

关于hadoop - 在 mapreduce 作业中,数据何时写入磁盘?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26081047/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com