Hadoop 集群 : bigger nodes or more nodes

Question

一个简单的问题:让更多的节点拆分资源还是让更少的“更强”节点更可取？

Answer 1

这是可靠性、复制与一般性能的对比。

假设固定数量的磁盘、CPU 和 RAM 均匀分布在具有 X_1 个节点的集群和具有 X_2 个节点的集群中，其中 X_1 < X_2 那么:

• 如果所有节点都保持运行，作业将在 X_1 上运行得更快
• 如果节点在作业期间死亡，则 X_2 集群上的剩余资源可能超过 X_1 集群的资源。如果 X_1 只有 1 个或 2 个节点，则更容易想象示例。在这种情况下，额外网络 IO 的成本可能小于资源损失，因此作业可能在 X_2 上运行得更快
• 如果您的复制因子明显受到集群大小的限制，如果您想要复制 3，那么您将需要 3 个节点。