Hadoop : Which configuration is Good

Question

作为hadoop配置什么好..

大量小型机器，每台具有 512 MB Ram 或少量大型机器(大约 2Gb 或 4GB Ram)

我可以选择两者中的任何一个，因为我的节点是虚拟机..

请分享您的想法..

Answer 1

瓶颈在很大程度上取决于您使用的应用程序类型。但总的来说，我会恕我直言，你对内存的假设是错误的。你应该得到更少更快的主流机器。每台机器的配置方式取决于它的角色，但大量 512 MB VM 无法匹配即使是少数具有良好网络/CPU 和磁盘的 12-24 GB 主流服务器。

标准的高容量设备是可行的方法，但实际转化为:

在“侧身”之前，首先要每台机器获得高效的性能。仅使用动力不足的机器“侧身”变得更加昂贵。

廉价机器集群并不真正意味着“任何机器”(与一些流行的看法相反)。每个节点的开销确实很大，所以添加内存、磁盘空间和磁盘吞吐量以及 CPU 通常比添加下一个节点更有效率。当然，这仅在您仍处于“大容量硬件”类别(主流快速 服务器)之前是正确的。应避免时钟频率、内存和磁盘的最后一英里。

因此，为了回答您的问题，请使用几台具有 12 GB RAM、快速 CPU 和大容量磁盘的千兆以太网机器。确保所有机器都在千兆交换机上运行。

顺便说一句，许多人推荐双路机器、Xeon CPU、raided 磁盘和 24 GB RAM，并认为这为 Hadoop 提供了最佳的性价比。