hadoop - 更改 Hadoop 中的数据节点数

Question

如何改变数据节点的数量，即禁用和启用某些数据节点来测试可伸缩性？更清楚一点，我有4个数据节点，我想用1、2、3、4个数据节点一一试验性能。是否可以只更新 namenode 中的 slaves 文件？

Answer 1

临时下线节点的正确方式:

1. 创建一个“排除文件”。这会列出您希望删除的主机，每行一个。
2. 将 dfs.hosts.exclude 和 mapred.hosts.exclude 设置为此文件的位置。
3. 通过 hadoop dfsadmin -refreshNodes 和 hadoop mradmin -refreshNodes 更新 namenode 和 jobtracker
4. 这将开始退役过程。过去在这些节点上复制的所有数据都将从它们复制到其他节点上。您可以通过网页界面查看进度。

请注意，这些节点不会在您执行 hadoop mradmin -refreshNodes 后立即用于 MR 作业，但它们仍会保存数据，因此您可能会吃掉一些网络延迟，否则您不会吃到如果您在退役完成之前运行某些东西。因此，对于完全真实的测试，您应该等到它完成。

要重新添加节点，只需将它们从排除文件中删除并再次执行 -refreshNodes 命令即可。