gpt4 book ai didi

hadoop - 需要帮助在 aws 中设置 hadoop 集群

转载 作者:可可西里 更新时间:2023-11-01 16:57:13 25 4
gpt4 key购买 nike

我想在 aws 中设置一个总容量约为 100T 的 hadoop 集群。如果我按照 http://aws.amazon.com/ec2/instance-types/ 选择 aws 实例,我没有得到理想的数据节点配置,我想为工作节点使用本地磁盘(SSD/NON-SSD)。例如如果我为数据节点选择 cc2.8xlarge 实例,那么对于 100T,我将不得不设置 30 个 cc2.8xlarge 实例,这将非常昂贵。您能否建议我应该如何在 aws (EC2) 中配置我的集群,使其具有最少的数据节点数,或者 aws 中的 hadoop 是否有任何标准配置?

最佳答案

听起来您很想考虑 Elastic MapReduce,它是基于 Hadoop 的核心 AWS 服务。

http://aws.amazon.com/elasticmapreduce/

您可以指定您的配置,集群将为您启动 - 比您自己尝试配置 EC2 实例容易得多。

关于hadoop - 需要帮助在 aws 中设置 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28447942/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com