EC2 上的 Hadoop 与 Elastic Map Reduce

Question

我正在尝试评估这两个选项之间的差异。以下是我能想到的一些优缺点:

Elastic Map Reduce => 来自 Amazon 的更好支持，无需管理集群，更昂贵(？)EC2 + Hadoop => 更多地控制您的 hadoop 配置，更便宜(？)

我想知道是否有人针对 EMR 对 EC2 + Hadoop 的性能进行了基准测试？大型集群部署的成本是否有显着差异？还有哪些区别？

Answer 1

我们在工作中使用这两种方法(EMR 和 EC2)。

Amar 提到的 EMR 的优势或多或少是正确的:因此，如果您想要简单，它可能是可行的方法。

但是还有其他的考虑:

• EMR 的版本远远落后于 apache head。它大约是 0.20.205，而 head 是 2.X，这基本上是 3 个版本(1.0、1.1、2.0..)

hadoop@domU-12-31-39-07-B9-97:~$ ll hadoop*.jarlrwxrwxrwx 1 hadoop hadoop 73 Feb 5 12:00 hadoop-examples-0.20.205.jar ->/home/hadoop/.versions/0.20.205/share/hadoop/hadoop-examples-0.20.205.jarlrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-test-0.20.205.jar ->/home/hadoop/.versions/0.20.205/share/hadoop/hadoop-test-0.20.205.jarlrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-core-0.20.205.jar ->/home/hadoop/.versions/0.20.205/share/hadoop/hadoop-core-0.20.205.jarlrwxrwxrwx 1 hadoop hadoop 70 Feb 5 12:00 hadoop-tools-0.20.205.jar ->/home/hadoop/.versions/0.20.205/share/hadoop/hadoop-tools-0.20.205.jarlrwxrwxrwx 1 hadoop hadoop 68 Feb 5 12:00 hadoop-ant-0.20.205.jar ->/home/hadoop/.versions/0.20.205/share/hadoop/hadoop-ant-0.20.205.jar

• 直接后果是，由于在 EMR 上运行的旧版本中缺少 contrib 模块，我不得不重新编码/重组我的 Map/reduce 程序

• 与使用更新版本的 M/R 相比，您没有太多机会使用非 Map/Reduce 算法。

• 混合和匹配 hadoop 生态系统版本的灵 active 。