hadoop - 如何跳过hadoop map-reduce中的坏记录

Question

我是 hadoop 的新手，谁能给我一个简单的程序，告诉我如何跳过 hadoop map/reduce 中的错误记录？

提前致谢

Answer 1

由于您是根据字段的缺失来过滤记录，所以这是适合您的 Mapper 实现的逻辑。 Java API 映射器可能看起来像这样:

public class FilteringMapper extends Mapper<LongWritable, Text, LongWritable, Text>{

private static final Logger _logger = Logger.getLogger(FilteringMapper.class);

protected void map(LongWritable key, Text value, Context context) {

    if(recordIsBad(value))
        _logger.info(<log record data you care about>);
    else
        context.write(key, value);

}

private boolean recordIsBad(Text record){
    //return true if record is bad by your standards
}

}

此映射器只会根据您的标准进行过滤。如果您需要在 Mapper 中进一步转换数据，这很容易添加。