hadoop - Hadoop:错误BlockSender.sendChunks()异常

Question

我有一个使用Hadoop的群集(一个用作namenode和datanode的主节点，以及两个从属节点)。我在日志文件中看到了以下错误消息:

hadoop-hduser-datanode-master.log文件:

2017-05-15 13:02:55,303 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception: 
java.io.IOException: Tubería rota
at sun.nio.ch.FileChannelImpl.transferTo0(Native Method)
at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:428)
at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:493)
at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:608)
at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:570)
at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:739)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:527)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:116)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:71)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:239)
at java.lang.Thread.run(Thread.java:748)

一段时间不 Activity 后，这仅在主节点中发生。十五分钟前，我成功运行了一个单词计数示例。

每个节点中的操作系统是Ubuntu 16.04。群集是使用VirtualBox创建的。

请问你能帮帮我吗？

Answer 1

我点击了以下链接:
https://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
配置有关内存的一些参数，我的问题就解决了!

注意:在某些帖子中，我读到此错误可能是由于磁盘空间不足(在我的情况下不是)，而其他原因是SO的版本(建议将Ubuntu 16.04降级为14.04)。