hadoop - 需要帮助在大学实验室设置 hadoop 集群

Question

对于我的最后一年项目，我需要在我的大学实验室中设置一个小型 hadoop 集群。我以前曾在 hadoop 上工作过，但只在伪集群中工作过。现在摆在我们面前的任务是在我们所有的计算机上安装 ubuntu，然后在每台计算机上设置 hadoop。我计划在 ubuntu 12.04 中使用 hadoop 用户的自定义 iso 来执行此操作。

我在想什么1. 在所有系统中安装 ISO。2. 如果 1 正确完成，则转到在每个系统上配置 hadoop，但这很棘手，因为实验室计算机的所有 ip 都是动态的并且不断变化。那么有什么方法可以绑定(bind)这些 pc 的 mac 地址，只要这些 mac 地址出现，主节点就可以将它们包含在集群中。

我有很多不确定性，比如

1.有没有更好的方法来做到这一点。通过自动化其中的某些部分？2. 我最好在每台机器上使用 virtual box 和 hadoop iso 吗？3. 我对 hadoop 1 有一些经验，但 hadoop 2 现在已经出来了，所以我应该使用 hadoop 2 还是应该使用 hadoop 1。

有什么建议吗？我应该如何进行？

Answer 1

内部 IP 是否也一直在变化？据我所知，没有简单的方法可以使用 MAC 地址——你需要在环境中有一些确定性。如果计算机相互连接，则它们必须在某处具有所需的信息，例如在主机文件中。

如果您有很多台计算机，我建议使用一些 puppet 脚本或 bash 脚本来自动化该过程 - 我不建议使用虚拟盒子，因为虚拟化可能会给您带来更多问题。

如果您的任务只是安装和配置 hadoop，并且您真的不需要对它做任何特殊的事情，那么只需使用您熟悉的版本即可。