java - 添加 jsoup 作为提供的依赖项后，Storm 命令失败并出现 NoClassDefFoundError

Question

我在我的项目中使用了 JSoup，并且我已经在我的 POM 文件中声明了依赖项。它编译得很好，运行也很好，但只有当我使用带有所有依赖项的jar 并将依赖项的范围更改为compiled 时。

如果我将此范围更改为provided，那么我仍然可以正常编译，但无法运行。它给了我 ClassNotFoundException。我已经在 classpath 和 path 变量中包含了必要的 JAR 文件，但我仍然面临这个问题。

我可以使用编译选项，但在我的脑海深处，为什么我无法使用提供的选项运行它，这真的让我很恼火，如果有人，我将真的感激可以帮我弄清楚原因。

以下是我看到的错误:

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的 POM 文件:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量:

echo $PATH

/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

echo $CLASSPATH

/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

Answer 1

这既是关于 Maven 的问题，也是关于 Storm 及其部署模型的问题。你必须 check out what the storm command actually does .首先，它实际上是一个最终调用java的Python脚本。

如果您查看函数 get_classpath(extrajars)，您会注意到它根本不使用 $CLASSPATH 环境变量。相反，它加载核心 Storm jar 和你在相对于工作目录的 lib/ 目录下的任何 jar，以及 ~/.storm 下的配置文件/p>

(您会发现忽略 $CLASSPATH 在许多 Java 应用程序中很常见。通常“启动脚本”做的第一件事是覆盖 CLASSPATH 或根本不使用它。这是为了防止未知/不受支持/早期版本的 jar 在您的应用程序中引起问题。

至于当 jsoup 被声明为“提供”时您的应用程序失败:当您将 jar 声明为提供的依赖项时，它不会被打包到您的“具有依赖项的 jar”程序集中。请参阅此问题以获得很好的解释:Difference between maven scope compile and provided for JAR packaging

tl;dr 的解释是，编译范围随您的 uber-jar 一起提供，前提是范围不是，因为它应该由您要部署到的容器“提供”。通常，“容器”是一个 Java 网络服务器，例如 Tomcat(因此，您永远不必将 JSP 或 Servlet jar 与您的 Java 网络应用程序一起发布)。在这种情况下，您期望“提供”类的“容器”是 Storm。然而，jsoup 不是由 Storm 提供的，因此你的错误。

编译范围类仍然需要与您的应用程序一起提供，因为您的应用程序将实例化/使用接口(interface)、枚举等。

我的建议是只声明 jsoup“编译”范围并继续。另一种方法是编写您自己的定制部署脚本和/或程序集，将 jsoup 放在 lib/ 下——最终本质上是一样的。