hadoop - Hadoop有时太慢(卡住了100％)

Question

我建立了一个由十台机器组成的集群，其中安装了CDH4( yarn )。
我在同一节点中运行nameNode，resourceManger和historyServer，在另一个节点中运行客户端。

在其余机器上，我打开了dataNode和NodeManager。
我在一个100GBytes的文件上启动了我的应用程序，它起初工作并且相对较快，但是现在它在 map 末尾变得非常慢(大约90％100％需要30分钟)。

我不知道问题出在我编写程序的方式还是在配置cloudera CDH4的方式。
问题是，尽管我没有进行任何更改，但有时它可以工作，但其他时间却无法工作。

Answer 1

我发现了为什么最后要花这么长时间，实际上我认为命令hadoop fs -expunge可以清空垃圾桶，但是没有，所以当Hadoop尝试在HDFS文件中写入时，结果非常速度慢，因为剩下的空间很小。