jobtracker 上的 hadoop conf/masters 和 conf/slaves？

Question

在NameNode和JobTracker不是同一台服务器的hadoop集群(1.x版本)中，conf/masters和conf/slaves是需要在NameNode和JobTracker上同时指定还是只在NameNode上指定？我似乎无法在文档中找到对此的直接答案。

Answer 1

conf文件夹下的slaves和masters文件仅供bin文件夹下的start-mapred.sh、start-dfs.sh和start-all.sh脚本使用。这些脚本是方便的脚本，因此您可以在单个节点上运行它们以通过 ssh 连接到每个主/从节点并启动所需的 hadoop 服务守护进程。这些脚本也意味着从适当的“主”节点启动:

• start-dfs.sh - 从您想成为名称节点的节点开始
• start-mapred.sh - 从您想成为 Job Tracker 的节点开始
• start-all.sh - 委托(delegate)给上述脚本，应该从您希望同时作为名称节点和作业跟踪器的节点运行

slaves 文件列出了所有计算节点主机名(即您要在其上同时运行 Data Node 和 Task Tracker 服务的节点)，而 masters 文件包含要在其上运行辅助名称节点的节点的主机名.

考虑到这一点，您只需要将 slaves 和 masters 文件存在于名称节点上，并且只有当您计划从该单个节点启动集群时(使用无密码 ssh)。