hadoop - Apache HBase 和 Cloudera HBase 兼容吗？

Question

在工作中我们正在尝试做以下事情:

• 通过 Amazon 运行 Elastic MapReduce 作业，将 Hadoop 卡住在 0.20.205 版本
• 将输出写入运行在 EC2 上的 HBase，特别是来自 Cloudera 的 0.92.1-cdh4.0.1

到目前为止，我发现当我在 Hadoop 作业(通过 maven 打包)中使用 Apache HBase 0.92.1 时，我的 WordCount 测试似乎有效。我担心这是意外工作，随着我的使用成熟，它可能会崩溃。

但是，当我在我的 Hadoop 作业中打包 HBase 0.92.1-cdh4.0.1 时，我得到一个 ClassNotFoundException:

https://emr-qa.eventbrite.com.s3.amazonaws.com/logs/j-RWJ75VR11SLB/steps/1/stderr

• Apache HBase jar 是否与 CDH Hbase 服务器兼容？
• 像这样混合版本和包是不是很糟糕？

Answer 1

我遇到了同样的问题，看起来它们不兼容(连接有问题)。解决方案是将maven依赖更改为使用cloudera的jar:

 <properties>
   <hbase.version>0.92.1-cdh4.0.1</hbase.version>
   <hadoop.version>2.0.0-cdh4.0.1</hadoop.version>
 </properties>

 <repositories>
   <repository>
       <id>cloudera</id>
       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
 </repositories>    

然后在依赖项中:

 <dependency>
 <groupId>org.apache.hbase</groupId>
      <artifactId>hbase</artifactId>
      <version>${hbase.version} </version>
      <exclusions>
          <exclusion>
              <artifactId>thrift</artifactId>
              <groupId>org.apache.thrift</groupId>
          </exclusion>
      </exclusions>
  </dependency>

当你想在另一个发行版中使用代码时，你可以更改属性并重新打包