java - 无法解压 snappy 文件，即使指定了 -Djava.library.path=/*/*/

Question

线程“main”中的异常

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:65)
at org.apache.hadoop.io.compress.SnappyCodec.getDecompressorType(SnappyCodec.java:193)
at org.apache.hadoop.io.compress.CodecPool.getDecompressor(CodecPool.java:178)
at org.apache.hadoop.io.compress.CompressionCodec$Util.createInputStreamWithCodecPool(CompressionCodec.java:157)
at org.apache.hadoop.io.compress.SnappyCodec.createInputStream(SnappyCodec.java:164)

我可以看到 snappy 库已正确安装。我已经使用 -Djava.library.path 提到了 lib 路径，仍然导致相同的错误。

有什么建议吗？

hadoop checknative -a

native 库检查:

hadoop:  true /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hadoop/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hadoop/lib/native/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so

Answer 1

看起来你遇到了:

如果找不到 libhadoop，Snappy 可能会提示 Hadoop 是在没有 snappy 的情况下构建的。

https://issues.apache.org/jira/browse/HADOOP-13684

您应该针对 libhadoop.so 进行调试，并查看您的 LD_LIBRARY_PATH 作为初学者。