hadoop - 如何从 DFS 而不是从 Mapred 中删除 hadoop 节点？

Question

我是 hadoop 的新手。为了运行一些基准测试，我需要各种 hadoop 配置进行比较。

我想知道一种从 DFS(不再运行 datanode 守护进程)中删除 hadoop 从站但不从 Mapred 中删除(继续运行 tasktracker)的方法，反之亦然。据我所知，此类 hadoop 节点只有一个从属文件，而 DFS 和 Mapred 没有单独的从属文件。

目前，我正在尝试在从属节点上同时启动 DFS 和 Mapred，然后在从属节点上终止数据节点。但是将该节点放入 HDFS GUI 上的“死节点”需要一段时间。可以调整任何参数以使此超时更快？

谢谢

Answer 1

尝试使用 dfs.hosts and dfs.hosts.exclude在 hdfs-site.xml 中，mapred.hosts and mapred.hosts.exclude在 mapred-site.xml 中。这些用于允许/排除主机连接到 NameNode 和 JobTracker。

一旦文件中的节点列表被适当更新，NameNode 和 JobTracker 必须使用 hadoop dfsadmin -refreshNodes 和 hadoop mradmin -refreshNodes 刷新分别命令。