hadoop - 我怎么知道 Spark 核心版本？

Question

我在 hdp 中使用 spark 1.5.2，hadoop 的版本是 2.7.1.2.3.4.7-4。当我尝试像这样在 maven pom 文件中添加 jar 时

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.5.2</version>
</dependency>

我不知道在哪里可以找到 spark-core 的版本。有2.11和2.10。任何帮助表示赞赏。

Answer 1

您提到的那个版本表示您希望将哪个版本的 Scala 用于 spark-core。

您需要检查集群上的 Scala 版本，以了解它是您需要的 2.10 还是 2.11。