hadoop - Rack-local map任务和Data-local map任务有什么区别？

Question

当我运行“hadoop job -status xxx”时，输出以下一些列表。

Rack-local map tasks=124
Data-local map tasks=6

Rack-local map tasks 和 Data-local map tasks 有什么区别？

Answer 1

在本地数据任务中，不需要复制任何内容。那是因为该 block 与计算物理上位于同一台服务器上。

下一层是机架本地任务，这里必须复制数据，因为没有可用的所需 block 的本地副本。请注意，本地机架仅在网络的本地机架交换中复制。

还有最坏的情况，数据在本地不可用，也不在同一机架上。所以这必须通过两个交换机复制到运行计算的主机。我不知道是否有计数器，但基本上这必须是 #all tasks - #data-local tasks - #rack-local tasks。