hadoop - 在 Hadoop 2.0 时代，名称节点和数据节点术语是否仍然有效？

Question

Hadoop 2.0 引入了 YARN，取代了 Job Tracker 和 Task Tracker 的任务。 YARN 由资源管理器(调度器、应用程序管理器...)、节点管理器和应用程序管理器组成。

数据节点和名称节点的术语在hadoop 2.0环境中是否仍然存在。如果他们做什么，他们的意思是什么，这些节点的功能是什么以及谁管理它们。加上任何其他有用的信息，请随时添加。

(ps:可能是数据节点和名称节点只是 HDFS 的一部分，它们与由 YARN 处理的作业处理直接无关。)

Answer 1

是的，正如你所说的名称节点和数据节点与hadoop(HDFS)的存储层相关，而不是与处理层(Map Reduce/Yarn)相关。名称节点和数据节点在主/从架构中构建，其中名称节点是主节点，数据节点是从节点。概括起来它们的功能是:

• 名称节点:存储文件系统的所有元数据，包括文件名、位置、权限、大小、文件到 block 的映射、可用 block 。
• 数据节点:它们是负责数据本身的组件。

因此，当您将数据加载到 hadoop 时，它将存储在数据节点中，相应的元数据(文件名、位置、权限、创建日期等)将存储在名称节点上的内存中并进行索引。