gpt4 book ai didi

hadoop - 如果 Map 插槽跨机架启动,那么 Job Tracker 如何处理数据?

转载 作者:可可西里 更新时间:2023-11-01 15:55:48 25 4
gpt4 key购买 nike

1. 当将任务分配给任务跟踪器进行处理时,作业跟踪器首先尝试在具有包含数据的数据节点的同一服务器上找到具有空闲槽的任务跟踪器(以确保数据局部性)

2.如果它没有找到这个 Task Tracker,它会在跨机架查找 Task Tracker 之前在同一机架中的另一个节点上寻找 Task Tracker。

经验法则:处理逻辑只会到达数据进行处理。

假设Task tracker跨机架启动,相应的处理数据不可用,那么在这种情况下,处理逻辑(程序)如何到达数据,而不是数据到达处理逻辑(程序)?

最佳答案

当本地没有数据时,需要通过网络传输。数据局部性不是一个规则(远程节点不能运行程序),而是一个目标(总是更喜欢包含数据的本地节点来运行与这个数据 block 相关的进程),因为传输数据(许多 GB)比比转移代码成本更高(几 KB)。

关于hadoop - 如果 Map 插槽跨机架启动,那么 Job Tracker 如何处理数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44492417/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com