hadoop - 在 Cloudera Hadoop 上设置 Lzo 时无法加载 native-lzo 库

Question

我只是按照 Cloudera 文档中的步骤操作，在集群上安装了 GPL Extras Parcel，并通过 Cloudera Manager 配置了 HDFS 服务。但是尝试读取 HDFS 上的 .lzo 文件时出现错误:

$hadoop fs -text /tmp/Lzo/log.txt.lzo 
INFO lzo.GPLNativeCodecLoader: Loaded native gpl library
WARN lzo.LzoCompressor: java.lang.NoSuchFiledError: lzoCompressLevelFunc
ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library
-text: Fatal internal error
java.lang.RuntimeException: native-lzo library not available

看了十几篇帖子，知道是JNI加载lzo库失败导致的，但是没有一篇能够很好的解决我的问题。以下是我所做的努力:
1.所有数据节点都安装了lzop。
2.mapred-site.xml中的JAVA_LIBRARY_PATH设置为/opt/cloudera/parcels/CDH/lib/hadoop/lib/native，其中包含liblzo2.*文件。
3.HADOOP_CLASSPATH 设置为/usr/local/lib 其中包含hadoop-lzo.jar 文件。

我还能做什么？如有任何建议，我们将不胜感激!

Answer 1

问题解决了!这是由 java.lang.NoSuchFiledError 引起的。 Hadoop-lzo-0.4.15 没有字段 lzoCompressLevelFunc，当我切换到 hadoop-lzo0.4.20 时，WARN 和 ERROR 都消失了。