java - web项目中如何使用spark mllib

Question

我正在尝试在 Web 项目中使用 spark mllib.jar。我下载了 spark-1.1.0-bin-hadoop2.4 并解压。找到如下jar:

datanucleus-api-jdi-3.2.1.jar

datanucleus-core-3.2.2.jar

datanucleus-rdbms-3.2.1.jar

spark-assembly-1.1.0-hadoop2.4.0.jar

spark-examples-1.1.0-hadoop2.4.0.jar

然后我使用spark-assembly-1.1.0-hadoop2.4.0.jar导入分类方法。在java项目中可以成功运行。但是，当我将 jar 添加到 SomeWebProject/web-inf/lib 时，结果显示错误消息:

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class

我知道是因为我的 Web 项目 javax.servlet 类与 spark jar 重复。我尝试删除 spark 的 javax.servlet。它仍然无法正常工作。

你能告诉我怎么解决吗

和

我可以使用其他 spark jar 在本地模式下运行 mllib 吗？这个 jar 太大了，大约 132 mb，我认为其中一些没用。但我找不到任何其他可用的 jar 。这个 jar 是导入 spark-mllib.jar 的唯一方法吗？附:由于某些原因，我无法在我的服务器中部署 spark。所以我不能使用hadoop环境

非常感谢!!!

Answer 1

如果您可以使用 maven，那么只需将这些依赖项添加到您的 pom.xml 中:

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>