gpt4 book ai didi

hadoop - hadoop mapreduce是否打开hdfs中的临时文件

转载 作者:可可西里 更新时间:2023-11-01 16:59:36 25 4
gpt4 key购买 nike

当 map-reduce 作业运行时,它必须创建大量临时文件来存储各种映射器和缩减器的结果。那些临时文件是写到hdfs.

如果是,namenode 的 editlog 可能会在短时间内变得巨大,因为它记录了每个事务,如文件打开、关闭等。可以通过直接写入 native 文件系统而不是 hdfs 来避免这种情况吗?想法?

最佳答案

map reduce 代码的中间结果已写入本地文件系统而非 hdfs,并在作业完成后自动删除。

我的意思是说映射器的输出已经写入本地文件系统,具体位置可以配置,但默认情况下它写入/tmp/hadoop-username* 位置

关于hadoop - hadoop mapreduce是否打开hdfs中的临时文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25986055/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com