hadoop - hadoop程序在运行应用程序时是否可以自动添加节点

Question

我是初级程序员和 hadoop 学习者。我正在使用 5 台 PC(具有双核 cpu 和 ram 2G)测试 hadoop 完全分发模式 在启动 maptask 和 hdfs 之前，我知道我必须配置文件(etc/hosts on Ip、主机名和 hadoop 文件夹/conf/masters、slaves 文件)所以我完成了该文件的配置

在我公司的研讨会上辩论时，我的老板和主管坚持认为即使hadoop应用程序运行状态，如果hadoop需要更多节点或集群，hadoop会自动添加更多节点 可能吗？当我研究hadoop clusturing时，许多hadoop书籍和社区站点坚持认为在配置和运行应用程序之后，我们不能添加更多的节点或集群。 但是我的老板对我说，亚马逊说在运行的应用程序上添加节点是可能的。 是真的吗？ stack overflow community上的hadoop master用户，请详细告诉我真相。

Answer 1

是的，这确实是可能的。

Here是hadoop的wiki中的解释。

此外，Amazon 的 EMR 还支持在已经运行的集群中即时添加数百个节点，一旦机器启动，它们就会由主机委派任务(未启动的映射器和/或缩减器任务)。

所以，是的，这是非常有可能的，并且正在使用中，而不仅仅是在理论上。