amazon-web-services - Hadoop单节点集群减慢AWS实例速度

Question

丑陋的快乐圣诞毛衣日:-)

我的运行Hadoop 2.9.2的AWS Linux 16.04实例遇到一些奇怪的问题。
我刚刚成功安装并配置了Hadoop以使其在模拟分布式模式下运行。一切似乎都很好。当我启动hdfs和yarn时，没有任何错误。但是，只要我尝试执行甚至只是列出根hdfs目录的内容或创建新目录之类的简单操作，整个实例就会变得非常慢。我等待了大约10分钟，并且它从未产生过目录列表，所以我按了Ctrl + C，这又花了5分钟才能杀死该进程。然后，我尝试同时停止hdfs和yarn，它虽然成功，但也需要很长时间才能完成。即使在hdfs和yarn停止后，该实例仍几乎没有响应。在这一点上，我要做的就是使它再次正常运行，是转到AWS控制台并重新启动它。
有谁知道我可能会搞砸了(我很确定这是我做的。通常是:-))？
谢谢。

Answer 1

好吧，我想我发现了什么地方出了问题，答案是微不足道的。基本上，我的ec2实例没有足够的RAM。这是一个符合基本免费套餐标准的实例，默认情况下仅配备1GB RAM。搞笑完全没用。
但是我还是学到了一些有用的东西。为了使Hadoop安装正常工作(我收到“连接被拒绝”错误，但确实使其正常工作)，我要做的另一件事是在core-site.xml文件中，我必须更改表示以下内容的行:

<value>hdfs://localhost:9000</value>

至

<value>hdfs://ec2-XXX-XXX-XXX-XXX.compute-1.amazonaws:9000</value>

(将上面的XXX替换为您实例的IP地址)