hadoop - Hadoop术语映射到硬件

Question

我从Hadoop开始，尝试实现Hadoop集群。我是分布式系统的新手，因此对术语有些困惑。

名称节点和数据节点是否对应于物理硬盘？

如果说我需要在单个cpu单元上运行映射任务，我们是否需要在设置mapred.tasktracker.map.tasks.maximum标志

的同时将映射任务分配给各个内核或处理器(具有多核)

“节点”意味着什么？处理器还是物理磁盘还是核心？

Answer 1

首先(在术语方面)，我假设您的意思是实例化Hadoop集群而不是实现一个集群。

名称节点管理一个或多个数据节点。文件名到块ID的索引由namenode在内存中维护，并定期刷新到磁盘。数据节点将块的实际位置报告给名称节点，从该节点开始管理块的分配，迁移，复制和删除。

数据节点管理物理硬盘上块的存储。数据节点可以将其块分布在一个或多个物理磁盘上(实际上，建议您使用多个物理磁盘，而不是单个逻辑卷磁盘)

作业跟踪器(JT)管理任务分配(映射或化简)到一个或多个任务跟踪器(TT)的过程。通常，您将配置集群中的每个节点(物理机)，以使可以运行(映射/减少)的最大任务数与核心数(不是硬性规定)相匹配，这取决于您期望如何使用集群)

节点通常意味着一台物理计算机，该计算机通常运行任务跟踪器(运行映射/化简任务)和数据节点(存储/提供文件块)。