hadoop - Apache Storm Hbase 版本兼容性，java.lang.NoSuchFieldError : HBASE_CLIENT_PREFETCH_LIMIT

Question

我正在运行以下 Storm 设置(在 Ubuntu 16.4 64 位上)。

• Storm :0.10.1
• Hadoop:2.5.2(本地伪集群)
• Hbase:1.1.5(本地伪集群)
• jar 的编译器:maven
• 通过导入函数使用默认的 hbase storm 支持类:org.apache.storm.hbase.bolt.HbaseBolt 和 mapper.SimpleHBaseMapper。

我正在尝试使用“Hbase” bolt 写入 Hbase 数据库。在此过程中出现以下错误:

016-07-30 21:06:14.874 b.s.util [ERROR] Async loop died!
java.lang.NoSuchFieldError: HBASE_CLIENT_PREFETCH_LIMIT
    at org.apache.hadoop.hbase.client.HConnectionKey.<clinit>(HConnectionKey.java:42) ~[stormjar.jar:?]
    at org.apache.hadoop.hbase.client.HConnectionManager.getConnection(HConnectionManager.java:271) ~[stormjar.j
ar:?]
    at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:197) ~[stormjar.jar:?]
    at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:159) ~[stormjar.jar:?]
    at org.apache.storm.hbase.common.HBaseClient$1.run(HBaseClient.java:45) ~[storm-hbase-0.10.1.jar:0.10.1]
    at org.apache.storm.hbase.common.HBaseClient$1.run(HBaseClient.java:42) ~[storm-hbase-0.10.1.jar:0.10.1]
    at java.security.AccessController.doPrivileged(Native Method) ~[?:1.8.0_91]

这看起来像一个类似的问题:http://lucene.472066.n3.nabble.com/CIS-CMMI-3-HBASE-CLIENT-PREFETCH-LIMIT-td4254588.html这会导致兼容性问题。

在提供的 storm-hbase jar 中，我可以看到对以下内容的引用:hbase 0.98.4-hadoop2 和 hdfs 版本 2.2.0 但我在支持的 hbase 源的 pom 文件中看到 https://github.com/apache/storm/tree/master/external/storm-hbase支持 Hbase 版本 1.1.0。

只有当我将 Hbase 版本切换回 0.98.4-hadoop 或更高版本直到版本 hbase-0.98.20-hadoop2 或使用 1.1.0 时，我的设置才有效吗？从 1.1.5 回到 1.1.0 似乎很奇怪，我已经降级了。或者我应该使用 apache.hadoop.hbase 类吗？我看过很多使用这些类的代码。

无论如何，请指教。我这5天一直在排除故障，没有任何流程。

亲切的问候，标记

Answer 1

此问题是由于您的 pom 中的 hbase-client 版本与服务器端的 jar 版本不同所致。如果您使用特定于供应商的版本(例如 1.2.0-cdh5.7.0)，那么也需要保持一致。