api - libhdfs c/c++ api是否支持读/写压缩文件

Question

我发现有人说 libhdfs 在 2010 年左右不支持读/写 gzip 文件。

我下载了最新的 hadoop-2.0.4 并阅读了 hdfs.h。也没有压缩参数。

现在想知道现在支持读取压缩文件了吗？

如果不是，我怎样才能为 libhdfs 打补丁并让它工作？

提前致谢。

最好的问候海地

Answer 1

据我所知，libhdfs 仅使用JNI 访问HDFS。如果您熟悉 HDFS Java API，libhdfs 只是 org.apache.hadoop.fs.FSDataInputStream 的包装器。所以现在不能直接读取压缩文件。

我猜你想通过C/C++访问HDFS中的文件。如果是这样，您可以使用 libhdfs 读取原始文件，并使用 zip/unzip C/C++ 库解压缩内容。压缩文件格式相同。例如，如果文件被 lzo 压缩，那么你可以使用 lzo解压缩它们的库。

但是如果文件是一个序列文件，那么你可能需要使用JNI来访问它们，因为它们是Hadoop的特殊文件。我看过Impala以前做过类似的工作。但它不是开箱即用的。