hadoop - HBase LZO表扫描导致RegionServer关闭

Question

我有一个问题，一些信息如下:

节点:3个节点，但仅配置2个区域服务器
操作系统:Centos6.3
Apache Hadoop2.7.1
Apache Hbase0.98.12

我的hadoop和hbase支持lzo压缩，同时支持snappy的成功安装，我有一个使用lzo压缩的hbase表，而另一个使用hashpy压缩的hbase表，我在该表中插入了50个编码器数据，好的，插入没问题，但是当我使用Java api扫描此表时，regionserver之一已死。

我检查了hbase日志，但是没有错误或异常，但是我检查了hadoop日志，我发现
一些异常(exception):

java.io.IOException: Premature EOF from inputStream
    at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:201)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
    at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:472)
    at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:849)
    at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:804)
    at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:137)
    at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74)
    at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:251)

我不知道为什么只在扫描hbase表中抛出异常，因为我执行MR作业读取的lzo文件是Normal，谢谢您的回答!

Answer 1

您缺少内容最后一行的返回。您必须使用以下条件来控制EOF:

while (line = mycontent.readLine()) != null)
{
...
...
}