java - SparkOnHBase : NullPointerException during build tests "distributedScan"

Question

我对 Hadoop、Spark 和 HBase 还很陌生。我正在尝试构建 SparkOnHBase mvn clean package (Apache Maven 3.3.3)

库

但是我在构建过程中遇到了以下失败的测试:

- distributedScan to test HBase client *** FAILED ***
java.lang.NullPointerException:
at org.apache.hadoop.net.DNS.reverseDns(DNS.java:92)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(TableInputFormatBase.java:228)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:191)
at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:98)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:205)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:203)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.rdd.RDD.partitions(RDD.scala:203)
at org.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:205)
...

我正在使用 Hadoop 2.7.1.2.3.0.0-2557(但我不会 sudo，需要寻求帮助)。

知道如何修复错误吗？

Answer 1

如果您想使用 SparkOnHBase 将 Spark 和 HBase 集成到 Cloudera Hadoop Distribution 中，请按照以下步骤操作

1. 在您的 pom.xml 文件中添加 Cloudera 存储库

   <repositories>
       <repository>
           <id>cloudera</id>
           <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
       </repository>
   </repositories>
   

2. 在你的 pom.xml 中添加依赖

   <dependency>
       <groupId>com.cloudera</groupId>
       <artifactId>spark-hbase</artifactId>
       <version>0.0.2-clabs</version>
   </dependency>
   

3. 使用 Spark 编写代码在 HBase 上执行 GET/PUT/SCAN 操作