hadoop - 映射器是否将它的中间输出存储在它运行的数据节点的 RAM 上？

Question

我的理解是否正确，job tracker 在存储 inputsplit 的数据节点上启动任务(mapper/reducer)，并在该数据 block 上运行该任务，mapper 将其中间输出存储在其本地存储中？

所以我的问题是:因为映射器在数据节点上运行，所以它将它的中间数据存储在数据节点的 RAM 上？由于数据节点磁盘是 hdfs 的一部分，中间输出不存储在 hdfs 上。

Answer 1

映射器的输出(中间数据)存储在每个映射器数据节点的本地文件系统(不是 HDFS)上。这通常是一个临时目录，可以由 Hadoop 管理员在配置中设置。一旦 Mapper 作业完成或数据传输到 Reducer，这些中间数据将被清除并且无法再访问。