hadoop - 配置单元不正确的 header 检查

Question

我想从导入到配置单元表的 .gz 文件中查询，但是当我使用一些需要 Map-reduce 作业的查询时:从测试中选择计数(*)；它显示以下错误:

 java.io.IOException: incorrect header check
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:228)
    at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:111)
    at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:105)

我检查后发现 Z LIB 是默认的压缩器编解码器。我尝试使用 bzip 文件，没问题。但我如何使用 .gz 文件。如何更改支持 gz 文件的默认编解码器？

Answer 1

我有类似的问题，在我的例子中，问题是文件夹中的文件格式不同，比如很少是 csv，其他是 parquet。一旦我保留单一文件格式，问题就解决了。