hadoop - 跨节点的数据移动是否发生在 Reducer 阶段？ MapReduce

Question

这是一道概念题。当映射器函数完成时，它会在本地节点上发出中间键值对。如果假设 Jobtracker 选择 reducer 从不同的节点运行，数据移动是否发生在节点之间？

如果是这样，请告诉我只有在所有 Mapper 阶段完成后，reduce 阶段才会开始。或者是否会有任何后台进程在单个映射器完成后立即运行，这会将数据移动/复制到 Reducer 节点？

如果这个问题很愚蠢，请忽略 :(

Answer 1

If suppose The Jobtracker chooses reducer to run from different node, do the Data movement happens across the nodes?

是的，如果 Reduce 任务在不同的节点上运行，而不是数据移动发生在节点之间。

please let me know will the reduce Phase starts Only after all the Mapper Phase gets complete.

Reduce 任务在所有 Mapper 完成后才会自行初始化。但是 map 任务可能在不同的时间完成，所以 Reduce 任务在每个 map 完成后立即开始复制 Mapper 的数据。这称为 copy 阶段。一旦所有映射器完成处理并且所有数据都在 reducer 端聚合后，reduce 方法就会被初始化。

will there be any background process that runs as soon as individual mapper gets completes, which will move/copy the data to the Reducer node?

Mapper 的中间数据由 TaskTracker 托管的内部码头 Web 服务器提供服务，reduce 任务具有一组线程，这些线程将从 mapred.reduce.parallel.copies .