java - 如何克服 hadoop 中的 java.lang.IncompatibleClassChangeError

Question

我得到了 IncompatibleClassChangeError::Found interface org.apache.hadoop.mapreduce.TaskAttemptContext，但类是预期的。我使用了阴影插件和主类插件，即

  Mainclass plugin:
==================     

 <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <manifest>
                        <addClasspath>true</addClasspath>
                        <classpathPrefix>lib/</classpathPrefix>
                        <mainClass>com.calsoftlabs.ndt.PcapMain</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>

shaded plugin:
============
    <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.7.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                            signed jars
                                 <excludes>
                                    <exclude>bouncycastle:bcprov-jdk15</exclude>
                                </excludes>
                            </artifactSet>

                             <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    Main class
                                    <mainClass>com.calsoftlabs.ndt.PcapMain</mainClass>
                                </transformer>

                         </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin> 

我有两个 jar :
1) original-PCAPSample-0.0.1-SNAPSHOT.jar -->由于有阴影插件
2)PCAPSample-0.0.1-SNAPSHOT.jar -->由于主类插件

--->当我使用阴影插件 jar 时，我在线程“main”java.lang.ClassNotFoundException:pcap 中遇到异常

--->当我使用第二个 jar 时，我得到了 IncompatibleClassChangeError

--->实际上我正在尝试使用此 url https://github.com/RIPE-NCC/hadoop-pcap/blob/master/hadoop-pcap-lib/src/main/java/net/ripe/hadoop/pcap/io/PcapInputFormat.java 中的 pcapInputFormat 类

---> 我在 pom.xml 中添加了 hadoop-pcap-lib(来自上面指定的 url)依赖项并尝试使用该 PcapInputFormat

--->我现在可以做什么来克服这个问题。任何人都可以就这个问题提出建议......

Answer 1

TaskAttemptContext从 Hadoop 1 中的类更改为 Hadoop 2 中的接口(interface)。很明显，您使用的 jar 是针对 Hadoop 1 API 构建的，尽管他们声称相反，Hadoop 2 不向后兼容，但最简单的应用程序。