scala - 如何使用 spark 2.* 访问 hbase

Question

我编写了一个程序，它使用带有 spark-hbase-connecotr 的 spark 1.6 访问 HBase(sbt 依赖项:“it.nerdammer.bigdata”%“spark-hbase-connector_2.10”%“1.0.3”)。但是在使用 spark 2.* 时它不起作用。我已经搜索了这个问题，我得到了一些结论:

有几个连接器用于使用 spark 连接 hbase

hbase Spark 。 hbase-spark 由 HBase 官方提供 website .但我发现它是在 Scala 2.10 和 spark 1.6 上开发的。项目pom.xml中的属性如下:

<properties>
  <spark.version>1.6.0</spark.version>
  <scala.version>2.10.4</scala.version>
  <scala.binary.version>2.10</scala.binary.version>
  <top.dir>${project.basedir}/..</top.dir>
  <avro.version>1.7.6</avro.version>
  <avro.mapred.classifier></avro.mapred.classifier>
</properties>

hbase-spark-connecotr:我访问他们的 website并且没有关于spark 2.0的信息。 jar 的名称是 spark-hbase-connector_2.10，它告诉我们该 jar 是由 spark 1.* 使用的 scala 2.10 编译的。但是当我将 jar 的名称更改为 spark-hbase-connector_2.11(由 scala 2.11 编译，与 spark 2 相同。)时，我的 IEDA(一种 IDE)告诉我没有名为 spark-hbase-connecotr_2.11 的 jar。所以不支持spark 2..

hortonworks-spark:我访问过他们的网站。有些评论说是不支持spark 2.*。

您知道第三方提供的带有完整文档的 jar 可以解决问题吗？我应该使用哪些包来使用 spark 2.* 连接 hbase？我很感激你的任何建议。谢谢!

Answer 1

我选择使用 newAPIHadoopRDD在 spark 中访问 hbase