Hadoop:节点的概念及其工作机制

Question

我刚开始研究 hadoop(基于 2.6.0)，但仍然无法全面了解 hadoop 的物理和逻辑结构。

我找到的所有引用资料都使用术语“节点”，例如主/从节点和名称/数据节点，但我无法从它们中找到此类“节点”的明确定义。 (也许我错过了细节......)

我想知道的是，主/从“节点”是物理机器的术语，名称/数据“节点”是管理实际数据的进程的术语吗？

我的第二个问题是，这些节点如何相互通信？我所知道的是他们需要 ssh 进行通信，但仅此而已。如果我知道它们实际上是如何相互通信以理解其架构，那将非常有帮助。

附言。网上有什么好的学习hadoop的引用资料吗？对我来说，hadoop 网站对像我这样的初学者来说太不友善了，到目前为止我发现的博客有时也没有什么信息。请分享一些好的资源!

Answer 1

are master/slave "nodes" the terms for physical machines and name/data "nodes" the terms for processes which manage actual data?

嗯，namenode datanode 等是在物理机器上运行的 hadoop 守护进程服务。因此，如果您的集群中有运行名称节点服务的系统，那么它称为名称节点。单个节点可以运行多个服务，即它可以运行名称节点和数据节点，尽管在生产设置中它没有完成，因为我们不希望运行名称节点服务的机器负担过重。由于您使用的是 hadoop 2.6，您可能还想看看 YARN architecture了解作业是如何执行的

how such nodes communicate each other? What I know is that they need ssh for communication but no more than that.

看看this .Datanode 使用DatanodeProtocol与Namenode通信。此接口(interface)提供发送心跳消息、新数据节点注册、 block 报告等的能力。客户端使用 DataTransferProtocol 与数据节点通信。 .该接口(interface)提供了读 block 、写 block 、复制 block 等能力。

Is there any good online reference to study hadoop?

看看this和 this - 可能与新架构略有不同，但仍然很好读。 bigdatauniversity有很多适合初学者的类(class)。