hadoop - Flume 到 HBase 依赖失败

Question

我已经使用 Apache Cloudera 安装了 HBase 和 Flume。我有一个 flume 代理在 linux 服务器上运行，HBase current master 正在运行。我正在尝试从 spooldir 写入 HBase 但出现以下错误:

...
ERROR org.apache.flume.node.PollingPropertiesFileConfigurationProvider: Failed to start agent because dependencies were not found in classpath. Error follows.
java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at  org.apache.flume.sink.hbase.HBaseSink.<init>(HbaseSink.java:116)
...

水槽配置:

...
#Sinks
tier1.sinks.hbase-sink.channel          = memory-channel
tier1.sinks.hbase-sink.type             = org.apache.flume.sink.hbase.HBaseSink
tier1.sinks.hbase-sink.table            = FlumeTable
tier1.sinks.hbase-sink.columnFamily     = FlumeColumn

我尝试修改flume-env.sh并设置HBASE_HOME HADOOP_HOME，但没有任何改变。

我已成功写入 HDFS，但 HBase 出现问题。

Answer 1

我可以通过将 hbase 库的路径添加到 conf/flume-env.sh 中的 FLUME_CLASSPATH 来解决这个问题，即在我的例子中，文件如下所示:

FLUME_CLASSPATH="/home/USERNAME/hbase-1.0.1.1/lib/*"

希望对您有所帮助。