hadoop - Map-reduce JobConf - 添加 FileInputFormat 时出错

Question

我使用以下语法创建了一个 Mapper:

public class xyz extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text>{
    -----
    public void map(LongWritable key, Text value,
        OutputCollector<Text, Text> output, Reporter reporter)
    --
}

在作业中，我创建了一个Job对象:

Job job = new Job(getConf());

对于这项工作，我无法使用以下方法添加 Mapper 类:

job.setMapper(xyz);

错误信息:

The method setMapperClass(Class<? extends Mapper>) in the type Job is not applicable for the arguments (Class<InvertedIndMap1>)

我不能使用带有扩展 Mapper 的 map ，因为我在 mapper 中使用 outputCollector 和 Reporter。

在工作中，如果我使用 JobConf 而不是像这样的工作:

JobConf conf = new JobConf(getConf());

然后 conf.setMapper(xyz) 开始工作了。

但无法使用以下方式设置输入路径:

FileInputFormat.addInputPaths(conf,new Path(args[0]));

错误信息:

The method addInputPaths(Job, String) in the type FileInputFormat is not applicable for the arguments (JobConf, Path)

我尝试了 setInputPaths、setInputpath、addInputPath。但再次出现同样的错误。addOutputPath/SetOuputpath 发生同样的错误。

请针对此问题提出解决方案。

Answer 1

我认为问题在于您导入了不合适的 FileInputFormat。我猜你需要更换

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

与

import org.apache.hadoop.mapred.FileInputFormat;