Hadoop 虚拟集群 vs 单机

Question

我有一个关于速度和性能的问题在单台机器上使用多个虚拟化节点 VS 在单台机器上使用单节点。

哪一个会表现更好？

之所以问这个问题是因为我目前是在单机上学习hadoop，在网上看到一些教程是单机多虚拟化节点的使用。

提前致谢

Answer 1

虚拟化总是会带来一些开销，因此除非真的有必要，否则我不建议在虚拟化环境中运行 Hadoop。

也就是说，我知道 VMWare 在使 Hadoop 在虚拟化环境中工作方面做了很多工作，并且他们已经发布了 some benchmarks他们声称在某些情况下，VM 的性能优于 native 应用程序。我对 vSphere 的了解不多，但如果您想进一步探索虚拟化，这可能是值得一看的东西。但是不要想当然地认为这些数字，它实际上取决于您运行的硬件类型，所以在某些情况下我认为您可能会通过 VM 获得一些性能，但我根据经验猜测在大多数情况下您会赢'有所收获。

如果您刚刚开始使用 Hadoop 进行测试，我认为虚拟化是大材小用。您可以非常轻松地以伪分布式模式运行 Hadoop，这意味着您可以在同一个机器上运行多个 Hadoop 守护进程，每个守护进程作为一个单独的进程。这就是我以前开始使用 Hadoop 的方式，这是一个很好的开端。您可以找到更多信息 here (或者可能需要另一个页面，具体取决于您运行的 Hadoop 版本)。

如果您到了想要使用真实集群进行测试但没有资源的地步，我建议您查看 Amazon Elastic Map/Reduce:它为您提供按需集群，而且非常便宜。这样您就可以进行更高级的测试。更多信息 here .

底线是，我认为如果目的只是测试，那么您实际上并不需要虚拟集群。