java - Apache Spark Maven POM 错误

Question

我正在尝试 Apache Spark，但遇到了一个小问题。我有这个JavaSparkHiveExample.java来自 Apache Spark Github 的示例以及 pom.xml我在 IntelliJ IDEA 中创建了一个 Maven 项目。

我能够运行其他 Spark 示例(使用另一个更简单的 POM)，但是 this one给我以下错误:

• Scala已安装在Idea中

我是 Maven 新手，因此希望能尝试一些方法来解决这个问题。

Answer 1

问题在于 $project.version 的值。它指的是您的项目版本(2.3.0-snapshot)。 Maven 中央存储库中的此版本没有任何 Maven 依赖项，因此您面临此问题。您可以添加一个像这样的新属性并为所有依赖项版本引用它，而不是使用项目版本

<properties>
 <spark.version>1.6.2</spark.version>
</properties>

然后在依赖项中使用它

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
    </dependency>

确保您使用的版本在 Maven 存储库中可用 https://mvnrepository.com/