scala - 在 OSX 上安装本地 spark

Question

我试图在我的本地机器(MacBook pro osx10.13.3)上运行我的 Scala 作业，但我在运行时遇到错误。

我的版本:

• scala:2.11.12
• Spark :2.3.0
• hadoop:3.0.0

我通过 brew 安装了所有东西。

异常(exception)是:

引起:java.lang.StringIndexOutOfBoundsException:开始 0，结束 3，长度 2

发生在那些行:

val conf = new SparkConf()
  .setAppName(getName)
  .setMaster("local[2]")
val context = new SparkContext(conf)

最后一行是抛出异常的地方。

我的理论是 Hadoop 和 spark 版本不能一起工作，但我在网上找不到 Hadoop 应该是什么版本 Spark 2.3.0。

谢谢。

Answer 1

所以我想出了我的问题。

首先，是的，我不需要安装 Hadoop。感谢您指出了这一点。其次，我安装了 java10 而不是 java8。删除它解决了其余的问题。

谢谢大家!