hardware - Hadoop 集群。 2 台快机器、4 台中机器、8 台慢机器？

Question

我们打算购买一些新硬件以仅用于 Hadoop 集群，但我们对应该购买的东西犹豫不决。假设我们有 5000 美元的预算，我们应该以每台 2500 美元的价格购买两台 super 漂亮的机器，每台 1200 美元左右的四台，还是每台 600 美元左右的八台？ hadoop 是在速度较慢的机器上工作得更好，还是在速度快得多的机器上工作得更好？或者，像大多数事情一样“视情况而定”？ :-)

Answer 1

通常情况下，使用 Hadoop 获得一些性能较弱的额外机器会更好。你几乎从未见过内存超过 16GB 和双四核 CPU 的数据节点，而且它们通常比这更小。

你总是必须运行一个作为名称节点(master)，并且通常你不会在同一个机器上运行一个数据节点(worker/slave)，尽管你可以，因为你的集群很小。但是，假设您不这样做，获得 2 台机器将只剩下 1 个工作节点，这在某种程度上违背了目的。 (不完全是，因为您仍然可以在从站上并行运行 4-8 个作业，但仍然如此。)

与此同时，您不希望拥有 1000 个 486 的集群。如果你的预算是 5000 美元，我会权衡一下，做 4 台 1200 美元的机器。这些将在个人性能方面提供一个不错的基线，您将有 3 个数据节点可以分配工作，并且如果需要，您将有空间来扩展您的集群。

要记住的事情:你会想要在每个数据节点上运行多个 map 或 reduce 任务，这意味着同时运行多个 JVM。我会尝试获得至少 4GB，最好是 8GB 内存。 CPU 不太重要，因为大多数 MR 作业都是 IO 绑定(bind)的。您可能会以 1200 美元的目标价买到这样的机器，所以这是我的投票。