scala - 使用错误的 Scala 版本创建 Spark 应用程序

Question

我正在按照此处的说明操作:https://spark.apache.org/docs/latest/quick-start.html创建一个将在本地独立 Spark 构建上运行的简单应用程序。

在我的系统中，我有 Scala 2.9.2 和 sbt 0.13.7。
当我写在我的 simple.sbt下列:
scalaVersion := "2.9.2"
我使用后 sbt package ，我收到错误:sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.9.2;1.3.1: not found
然而，当我写在 simple.sbt :
scalaVersion := "2.10.4"
sbt 运行成功，应用程序在 Spark 上运行良好。

这怎么会发生，因为我的系统上没有 Scala 2.10.4？

Answer 1

Scala 不是一个包，它是一个在 Java 运行时之上执行的库。同样，Scala 编译器 scalac在 Java 运行时之上运行。在“系统”中安装了 Scala 版本这一事实很方便，但绝不是必需的。

因此，完全有可能推出sbt从一个版本的 Scala (2.9.2) 开始，但通过传递适当的标志，例如 -classpath，指示它使用完全不同版本的 Scala (2.10.x) 运行其他命令(编译) .

见:Can java run a compiled scala code?