java - Hbase客户端扫描程序挂起

Question

我已经使用Hbase几个月了，并且已经在Hbase表中加载了超过6GB的数据。当我尝试使用Java客户端扫描行时，它挂起并报告以下错误，

Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs

此外，如果我登录到shell并进行扫描，则可以完美运行，甚至Java客户端扫描程序也可以用于数据量较小的hbase表。

任何解决方法？

Answer 1

对于大数据，您可以编写map reduce代码。对于大数据，简单的Java程序并不是很有效。您可以查看Pig脚本来实现这一目标。

查看这些以获得进一步的帮助:

http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/

http://wiki.apache.org/hadoop/Hbase/MapReduce

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html

否则，您也可以尝试使用Pig Scripts进行mapt reduce程序。

http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html

还有一个选择，您可以增加HBase超时属性并尝试一下。从不同的HBase配置设置中，您可以引用:

http://hbase.apache.org/docs/r0.20.6/hbase-conf.html

但是当涉及大数据时，Map-reduce代码总是更好的选择，您还可以搜索hbase的优化准则/最佳实践。