amazon-ec2 - Amazon EC2 与 Amazon EMR

Question

关闭。这个问题是opinion-based .它目前不接受答案。












想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题.

7年前关闭。




Improve this question




我在 Hive 中实现了一个任务。目前它在我的单节点集群上运行良好。
现在我计划在 AWS 上部署它。

我对 AWS 一无所知。如果我打算部署它，那么我应该选择 Amazon EC2 还是 Amazon EMR？

我想提高我的任务的性能。哪一个对我来说更好更可靠？如何接近他们？我听说我们也可以像在 AWS 上一样注册我们的 VM 设置。是否可以？

请尽快给我建议。

非常感谢。

Answer 1

EMR 是 EC2 实例的集合，其中安装并配置了 Hadoop(以及可选的 Hive 和/或 Pig)。如果您使用集群来运行 Hadoop/Hive/Pig 作业，EMR 是您的最佳选择。与 EC2 实例相比，EMR 实例的成本略高。今天对亚马逊价格的快速检查显示，小型 EC2 实例的成本为 0.08 美元/小时，而小型 EMR 实例的成本为 0.015 美元/小时。
在我看来，为了省去安装和设置 Hadoop(以及 Hive 和 Pig)、创建和维护以及 AMI 和使用它的麻烦，支付额外的钱是完全值得的。此外，EMR 的 Hadoop 和 Hive 版本有一些补丁在 Apache Hive 上不可用(至少目前还没有)。如果您使用 EC2，您可能会使用 Apache Hadoop 和 Hive(或者可能是 cloudera 发行版)并且无法访问这些补丁(例如对 S3 的 native 支持或类似 ALTER TABLE my_table RECOVER PARTITIONS 的命令)

引用:

http://aws.amazon.com/ec2/pricing/

http://aws.amazon.com/elasticmapreduce/pricing/