java - 为什么 google dataproc 不提取 coreNLP jar，尽管它们包含在 POM 文件中？

Question

我的应用程序是一个使用 Spark 的 java maven 项目。这是我的 pom 中添加 stanford coreNLP 依赖项的部分:

        <dependency>
            <groupId>edu.stanford.nlp</groupId>
            <artifactId>stanford-corenlp</artifactId>
            <version>3.6.0</version>
        </dependency>
        <dependency>
            <groupId>edu.stanford.nlp</groupId>
            <artifactId>stanford-corenlp</artifactId>
            <version>3.6.0</version>
            <classifier>models</classifier>
        </dependency>

我收到以下错误:

java.lang.NoClassDefFoundError: edu/stanford/nlp/pipeline/StanfordCoreNLP

还有其他依赖项，例如Spark 和 dataproc 可以很好地处理它们。现在我添加了 coreNLP，它在我的笔记本电脑上运行良好，但在 google dataproc 中失败。

Answer 1

Spark 类在 Dataproc 环境中“提供”，因为它们被视为基本发行​​版的一部分，以及其他 Hadoop 相关包(如 hadoop-client) 。不属于基本发行版的其他库应使用 Maven shade plugin 打包为“fatjar”的一部分。 .

通常这是最佳实践指南，因为“提供的”环境应尽可能不拘泥于版本依赖性，这样您就可以根据需要引入自己的 corenlp 版本，而不必担心 Dataproc 环境中的版本冲突，甚至使用您自己的 corenlp 库的 fork 版本。