hadoop - 使用 Hive TableView 映射与 Hbase 表 : java. lang.NoSuchMethodError : org. apache.hadoop.hive.serde2.lazy 在 spark 上运行 Hive 的问题

Question

我正在尝试通过 Spark 引擎从配置单元映射来访问 Hbase 表。

来自 hive :

当我在使用 Hbase 映射的 Hive View 上运行查询时，我可以获得所有想要的结果。

来自星火:

当我运行查询以从配置单元表中获取数据时，我可以得到它，但是当我对 hbase 映射的配置单元表执行相同的操作时，出现以下错误。

Error: java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams(Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava/lang/String;)Lorg/apache/hadoop/hive/serde2/lazy/LazySimpleSerDe$SerDeParameters; (state=,code=0)

我想知道是否可以通过 spark 来实现，因为我没有从互联网上找到任何解决方案。

从上面的错误我可以看出这是一些 jar 问题并且这个方法存在于 hive-serde jar 和 hive-exec jar 中，但是尝试了所有可能的替代方法但未能成功..

谁能帮忙解决这个问题..

注意:我在这里的主要目的是检查性能，因为它在 hive 和 pig 中也花费了大量时间。

Answer 1

我不确定您使用的是哪个版本的软件 hive、hbase 和 spark ...

这似乎是版本不匹配的问题。

Spark 1.3.1 uses Hive 0.13 API, while Spark 1.5.1 uses Hive 1.2, hbase serde that comes with hive 2.3 is not compatible with Hive 0.13 API.I tried with old Serde for Hive 0.13, but there are lots of conflicts with Hbase API versions.

• 根据您的需要，您可以尝试 Spark+Hbase 原生集成，而不是 Hive-Hbase Serde。
• 或者您可以使用正确兼容的 hive 版本。

也可以看看 https://issues.apache.org/jira/browse/HIVE-12406可能是同一个问题...