hadoop - YARN 和 NameNode 什么时候交互

Question

提交作业时，YARN和NameNode什么时候交互？提交作业后，它会发送给谁？有人可以解释端到端流程 - hadoop 生态系统如何运作吗？

谢谢!

Answer 1

Namenode:存储数据节点中存储的所有数据的元数据，监控数据节点的健康状况。基本上，它是一种主从架构。

YARN:代表Yet Another Resource Negotiator。 yarn 主要有两种成分。

1.> 调度

2.>应用程序管理器

Yarn 还包含 master，即 Resource Manager 和 Slave，即 Node Manager。

出于调度目的，有 3 个调度器:

1.> 先进先出 2.> 容量 3.> 公平分享

在节点管理器下有一个由资源管理器分配的名为Application Master的组件。

一个应用程序主机被分配给一个应用程序。

作业由客户端直接提交，Resource Manager分配给Application Master，Node manager监控Application Master的活跃度

现在，无论何时工作到来，资源管理器都会创建一个工作 ID 并为该工作分配一个 Application Master。 Resource Manager 联系 Namenode 以检索有关必须执行任务的所需数据的元数据的信息。 Resource Manager 收到的信息然后传递给 Application Master。

这是 Yarn 与 Namenode 一起工作的基本概述。也可以详细阅读YARN

此外，NameNode 交互只是在与 NameNode 对话的 YARN 中运行的 Hadoop 应用程序中。并非所有 YARN 应用程序都需要与 HDFS 通信