hadoop - Hadoop MapReduce 中每个阶段产生的中间数据存储在哪里？

Question

我学习hadoop mapreduce有一段时间了，大家知道，hadoop使用hdfs把数据文件存储在硬盘上，我们运行mapreduce的时候，progran从hdfs中获取数据，但是在mapreduce的各个阶段，数据从哪里获取存储？我得到了一些答案

1. hsfs
2. 运行 mapreduce 的本地硬盘

Answer 1

一般map和reduce任务生成的中间数据文件都存放在本地磁盘上运行MapReduce的目录(位置)中。该目录包含:

• map 任务生成的输出文件用作 reduce 任务的输入。
• reduce 任务生成的临时文件。

临时数据位置由 mapreduce.cluster.local.dir 属性控制。您可以为 map 和 reduce 任务生成的中间数据配置一个或多个位置。

在某些情况下，ExecutorNode 没有足够的空间来存储中间数据，它也可以存储在另一个有足够空间可用的磁盘上。

这link了解更多信息可能会有用。