hadoop - Hadoop输入拆分与 block

Question

假设一个64 MB的块位于节点A上，并且在其他2个节点(B，C)之间复制，并且map-reduce程序的输入拆分大小为64 MB，此拆分是否仅具有节点A的位置？还是它将为所有三个节点A，b，C提供位置？

由于数据对于这三个节点都是本地的，框架如何决定(选择)要在特定节点上运行的 map task ？

如果输入拆分大小大于或小于块大小如何处理？

Answer 1

Hadoop知道块位于何处。如果拆分恰好等于一个块，则Hadoop将尝试在同一节点上运行map任务，以应用“数据局部性”原理并保存所需的任何网络传输。

如果A，B，C都可用，则映射任务将在最接近客户端的节点上运行。如果节点A不可用，则它取决于最接近客户端的节点在B或C上运行。

如果A，B，C都不可用，则Hadoop将找出A，B或C中哪个节点最接近客户端，然后选择与A相同的机架上的空闲节点(因为机架内传输更快)。 。如果整个机架繁忙，则别无选择，只能选择其他机架和节点来处理拆分。拆分将被临时复制到节点，并在处理后将其从临时位置删除。

但是，如果输入拆分大于块大小，则适用完全相同的原理。唯一的区别是Hadoop框架将“分块+从第2块开始的几行”到节点进行处理。