Hadoop - 错误 : Found interface org. apache.hadoop.mapreduce.TaskAttemptContext

Question

我正在使用 hadoop 设计 mapreduce 作业。我决定创建一个自定义的 InputFormat。当我想在我的 Hortonworks 沙盒上运行该作业时，出现了这个错误:

Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected

根据论坛上的一些主题(如here)，这是一个版本问题:在Hadoop 2.x 中，TaskAttemptContext 是一个接口(interface)，之前它是一个类。

这是我的 pom.xml 文件:

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.4</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>1.2.1</version>
    </dependency>



    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>${java.version}</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>0.9.0-incubating</version>
        <classifier>hadoop1</classifier>
    </dependency>

</dependencies>

如果你有想法，谢谢帮助我。

Answer 1

这可能意味着您是针对比您正在运行的版本更早的 Hadoop 版本编译代码的。

这可能与它有关......

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.2.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

这里有两个不同版本的 Hadoop。