hadoop - 将hbase客户端从0.98升级到1.1时出现TableNotFoundException

Question

我刚刚从0.98版本升级到HortonWorks HBase客户端1.1.2.2.4.2.0-258。所有这些在本地都可以正常工作，但是几分钟后在生产负载下，我开始出现TableNotFoundException:

Caused by: org.apache.hadoop.hbase.TableNotFoundException
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegionInMeta(ConnectionManager.java:1264)
at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegion(ConnectionManager.java:1162)
at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.getRegionLocations(RpcRetryingCallerWithReadReplicas.java:300)
at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:152)
at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:60)
at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:200)
at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:320)
at org.apache.hadoop.hbase.client.ClientScanner.nextScanner(ClientScanner.java:295)
at org.apache.hadoop.hbase.client.ClientScanner.initializeScannerInConstruction(ClientScanner.java:160)
at org.apache.hadoop.hbase.client.ClientScanner.<init>(ClientScanner.java:155)
at org.apache.hadoop.hbase.client.HTable.getScanner(HTable.java:821)

该行为似乎是随机且不可预测的，例如重复相同的请求就可以了(即不抛出异常并且成功检索数据)

我试图了解从0.98到1.1的变化，我发现的唯一重要的事情是 https://issues.apache.org/jira/browse/HBASE-16973

玩弄那些值(value)观并没有帮助。

还有什么我应该考虑的吗？任何指针都受到高度赞赏!

谢谢!

Answer 1

问题出在我们如何使用HConnection对象的方式上，它们有多个实例(我同意，IIUC不是正确的使用方式)。在新版本的hbase客户端中，每个HConnection也有几个用于元查找的“hconnection”线程。所有这些累积导致导致JVM无法处理的线程数量极大。使用单个HConnection实例后，问题消失了，一切正常。