Scala 对 Spark 安装的依赖

Question

我刚刚开始使用 Spark，所以下载了 for Hadoop 1 (HDP1, CDH3)来自 here 的二进制文件并将其解压缩到 Ubuntu VM 上。在没有安装 Scala 的情况下，我能够执行 Quick Start 中的示例。来自 Spark 交互式 shell 的指南。

Spark 是否包含在 Scala 中？如果是，库/二进制文件在哪里？

为了在其他模式(分布式)下运行 Spark，我是否需要在所有节点上安装 Scala？

作为旁注，我观察到 Spark 拥有围绕开源项目的最佳文档之一。

Answer 1

Spark 是否包含在 Scala 中？如果是，库/二进制文件在哪里？

项目配置放在project/文件夹。我这里的情况是:

$ ls project/
build.properties  plugins.sbt  project  SparkBuild.scala  target

当您这样做时 sbt/sbt assembly ，它会下载适当版本的 Scala 以及其他项目依赖项。 checkout 文件夹 target/例如:

$ ls target/
scala-2.9.2  streams

请注意，Scala 版本对我来说是 2.9.2。

为了在其他模式(分布式)下运行 Spark，我是否需要在所有节点上安装 Scala？

是的。您可以按照 Spark documentation 中的说明创建单个组装 jar。

If your code depends on other projects, you will need to ensure they are also present on the slave nodes. A popular approach is to create an assembly jar (or “uber” jar) containing your code and its dependencies. Both sbt and Maven have assembly plugins. When creating assembly jars, list Spark itself as a provided dependency; it need not be bundled since it is already present on the slaves. Once you have an assembled jar, add it to the SparkContext as shown here. It is also possible to submit your dependent jars one-by-one when creating a SparkContext.