java - Apache Spark : Pre requisite questions

Question

我即将在 Ubuntu 16.04 LTS 上安装 Apache Spark 2.1.0。我的目标是一个独立的集群，使用 Hadoop，Scala 和 Python(2.7 是 Activity 的)

下载时我得到了选择:为 Hadoop 2.7 及更高版本预构建(文件为 spark-2.1.0-bin-hadoop2.7.tgz)

• 这个包实际上包含 HADOOP 2.7 还是需要单独安装(首先我假设)？

• 我安装了 Java JRE 8(其他任务需要)。由于 JDK 8 似乎也是先决条件，我还执行了“sudo apt install default-jdk”，它确实显示为已安装:

default-jdk/xenial,now 2:1.8-56ubuntu2 amd64 [已安装]

检查 java -version 但是不显示 JDK:

Java 版本“1.8.0_121”Java(TM) SE 运行时环境(build 1.8.0_121-b13)Java HotSpot(TM) 64 位服务器 VM(构建 25.121-b13，混合模式)

这是否足以安装？为什么它不同时显示 JDK？

• 我想使用 Scala 2.12.1。这个版本是否与 Spark2.1/Hadoop 2.7 组合配合得很好，还是其他版本更合适？

• 是否还需要 Scala SBT 包？

一直在来回尝试让一切正常，但我卡在了这一点上。

希望有人能给出一些启示:)

Answer 1

无论你安装什么，你都需要安装 hadoop-2.7。

Java 版本没问题。

上述配置应该适用于 scala 2.12.1。