java - 将 Apache Spark 添加到 Eclipse Maven 项目时出现问题

Question

我正在尝试将 Apache Spark MLlib 添加为 Eclipse 中 Maven 项目的依赖项。我有 Maven 插件，所以添加依赖项通常就像输入地址一样简单(甚至不必触摸 pom.xml)。当我尝试添加 MLlib 时，出现错误:

“无法读取所需库的存档(spark-core jar 的位置)或者不是有效的 zip 文件”

所以我也去添加那个 jar 作为依赖项，但是错误继续发生，只是不同的 jar(接下来是 hadoop，然后是 snappy-java 等)需要添加越来越多的依赖项。最终，我似乎已经添加了所有必需的依赖项，但错误只是循环回到 hadoop 中:

“无法读取所需库的存档(hadoop jar 的位置)......”

当我尝试删除并重新添加这些时，它只是继续循环遍历所有这些。我对 Maven 很陌生，所以也许我错过了一些重要的东西，但我很困惑。

Answer 1

您还没有共享您的 pom.xml 文件，您似乎不想编辑它。无论如何，请确保为了使用 MLlib，您必须将以下依赖项添加到应用程序的 pom.xml 中:

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.10</artifactId>
        <version>1.1.0</version>
    </dependency>