hadoop - 使用自定义 FileInputFormat

Question

如何创建将文件作为单个记录发送到映射器的自定义 FileInputFormat请帮我举一个使用自定义 FileInputFormat 的例子

Answer 1

您想使用具有以下覆盖的自定义文件输入格式:

        @Override
        protected boolean isSplitable(JobContext context, Path filename) {
            return false;
        }

hadoop 源代码中有一个这样的例子，MultiFileWordCount .在该示例中，您将上面覆盖的“isSplitable”方法添加到“CustomInputFormat”以避免拆分。

Here is a gist如何将“isSplitable”合并到 MultiFileWordCount 示例中；使用 vanilla hadoop api。