hadoop - tasktracker对应的是hadoop中的mapper还是reducer？

Question

我知道 mapper 总是执行几个 map 操作，reducer 总是执行几个 reduce 操作。换句话说，mapper(reducer)和map(reduce)操作之间的映射是一对多的。
现在有个问题，tasktracker和mapper的映射是一对一还是一对多？

Answer 1

首先，我将向您解释什么是任务跟踪器:

A TaskTracker is a node in the cluster that accepts tasks - Map, Reduce and Shuffle operations - from a JobTracker.

每个 TaskTracker 都配置了一组插槽，这些插槽表示它可以接受的任务数。当 JobTracker 试图在 MapReduce 操作中寻找某个地方来安排任务时，它首先在托管包含数据的 DataNode 的同一台服务器上寻找一个空槽，如果没有，它在服务器中的一台机器上寻找一个空槽。同一个架子。

TaskTracker 生成一个单独的 JVM 进程来完成实际工作；这是为了确保进程失败不会关闭任务跟踪器。 TaskTracker 监视这些生成的进程，捕获输出和退出代码。当进程完成时，无论成功与否，跟踪器都会通知 JobTracker。 TaskTracker 还向 JobTracker 发送心跳消息，通常每隔几分钟发送一次，以确保 JobTracker 它仍然存在。这些消息还通知 JobTracker 可用插槽的数量，因此 JobTracker 可以了解集群中可以委派工作的最新信息。

是的，这使我们得出这样一个观点，即一个任务跟踪器使用作业跟踪器执行许多操作(实际作业，即 map reduce 任务)，因此您的问题的答案是

one (job tracker) to many (task tracker) relation