hadoop - 如何获取使用gzip压缩存储在hdfs中的文件的原始内容？

Question

有什么方法可以逐字节读取存储在hadoop hdfs上的文件的原始内容吗？

通常，当我提交带有-input参数的流作业时，该作业指向.gz文件(例如-input hdfs://host:port/path/to/gzipped/file.gz)。

我的任务逐行收到了解压缩的输入，这是而不是我想要的。

Answer 1

您可以使用各自的Hadoop配置初始化FileSystem:

FileSystem.get(conf);

它具有 open方法，原则上应允许您读取原始数据。