gpt4 book ai didi

hadoop - 亚马逊EC2 t2.micro上的Hadoop 2.x

转载 作者:行者123 更新时间:2023-12-02 21:39:47 24 4
gpt4 key购买 nike

我正在尝试以伪分布式模式在Amazon EC2 t2.micro实例(免费的实例,只有1GB RAM)上安装和配置Hadoop 2.6。
我可以配置并启动所有守护程序(即Namenode,Datanode,ResourceManager,NodeManager)。但是,当我尝试运行mapreduce wordcount示例时,它失败了。
我不知道它是否由于内存不足而失败(由于t2.micro仅具有1GB的内存,并且其中的一部分由Host OS(在我的情况下为Ubuntu)占用)。还是其他原因?
我正在使用默认的内存设置。如果我可以将所有内容调整到最小内存设置,是否可以解决问题?可以分配给容器的最小内存量(以mb为单位)。
非常感谢你们。如果您能向我提供一些信息,我们将不胜感激。

最佳答案

在不调整任何内存设置的情况下,有时可以仅在免费的t2.micro实例上运行带有1个映射器和1个reducer的pi示例,它在大多数情况下都会失败。
通过使用内存优化的r3.large实例和15GB RAM,一切都可以完美运行。所有作业都可以顺利完成。

关于hadoop - 亚马逊EC2 t2.micro上的Hadoop 2.x,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29600370/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com