hadoop - AWS 上的 MapReduce

Question

有人在 AWS 上玩过 MapReduce 吗？有什么想法吗？实现情况如何？

Answer 1

上手很容易。

这是一个常见问题解答:http://aws.amazon.com/elasticmapreduce/faqs/

这是入门指南:http://docs.amazonwebservices.com/ElasticMapReduce/latest/GettingStartedGuide/

如果您已经拥有 EC2 账户，则可以使用 AWS 管理控制台启用 MapReduce 并在不到 10 分钟的时间内启动并运行示例应用程序。

我做了预打包的字数统计示例应用程序，它返回大约 20 MB 文本中包含的每个字词的计数。您最多可以配置 20 个实例并发运行，但我只使用了 2 个实例并且作业在大约 3 分钟内完成。

该作业返回 300 KB 按字母顺序排列的单词列表以及每个单词在示例语料库中出现的频率。

我真的很喜欢 MapReduce 作业可以用我选择的 Perl、Python、Ruby、PHP、C++、R 或 Java 编写。该过程轻松简单，界面提供了有关您的实例状态和作业流程的良好反馈。

请注意，由于 AWS 在创建实例时按一整小时收费，并且由于 MapReduce 实例会在作业流结束时自动终止，因此多个快速运行的作业流的成本可能会迅速增加。

例如，如果我创建一个使用 20 个实例并在 15 分钟内返回结果的作业流，然后再重新运行该作业流 3 次，我将按 80 小时的机器时间付费，即使我只有 20 个实例运行 1 小时。