hadoop - 运行 Hadoop 应用程序

Question

1. Hadoop 应用程序能否在任何一个集群节点上启动，而与节点类型无关？

2. 应用程序应该只在其中一个节点上启动吗？

3. Hadoop 是否将代码移动到靠近数据的适当节点？

4. Java RMI 是否用于移动代码？

@编辑

在每个安装了 Hadoop 的节点上，通过为 设置 core-site.xml 的 fs.default.name 来明确指定谁是主节点jobtracker 的mapred-stie.xml 的>Namenode 和mapred.job.tracker。

但是，从节点Datanode和Tasktracer不能显式赋值吧？

相反，它们在 Hadoop 守护进程启动时动态加入集群，或者在守护进程停止时离开集群，对吧？

如果安装了 Hadoop 的节点既没有分配给主节点也没有运行其 hadoop 守护进程，它仍然可以启动 Hadoop 应用程序，对吧？

@第二次编辑

看来slave节点也应该在master节点的conf/slaves文件中明确列出，以便在master节点上统一启动或停止。

Answer 1

1. 只要正确设置了 core-site.xml 配置，Hadoop 作业就可以从任何地方触发。这不一定是数据节点或主节点。在较大的集群上，我们通常有一个不运行任何 Hadoop 守护进程的“查询节点”。

2. 在特定节点上启 Action 业不是什么大问题，除非您的程序在 MapReduce 之外进行某种繁重的预计算或后计算。如果是，您希望将它们保留在自己的节点上。在数据节点上运行作业优于在主节点上运行作业。

3. Hadoop 在各处复制 jar 文件，因此代码在本地可用。我不认为这使用 RMI，但我可能是错的。最后，这一切都是从用户那里抽象出来的，不是你需要关注的。