apache-spark - 为什么 Spark-Shell 失败并显示 “error: not found: value spark” ？

Question

我使用 Spark 2.1.0。

当我运行 spark-shell 时，遇到以下错误:

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

可能是什么原因？如何解决？

Answer 1

我遇到了同样的问题，经过调查我发现 spark version 之间存在兼容性问题。 和 winutils.exe hadoop-2.x.x 。

经过实验，我建议您将hadoop-2.7.1 winutils.exe与spark-2.2.0-bin-hadoop2.7版本和hadoop一起使用-2.6.0 winutils.exe 具有 spark-1.6.0-bin-hadoop2.6 版本并设置以下环境变量

SCALA_HOME  : C:\Program Files (x86)\scala2.11.7;
JAVA_HOME   : C:\Program Files\Java\jdk1.8.0_51
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1
SPARK_HOME  : C:\Hadoop\spark-2.2.0-bin-hadoop2.7
PATH    : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

创建C:\tmp\hive目录并使用以下命令授予访问权限

C:\Hadoop\winutils-master\hadoop-2.7.1\bin>winutils.exe chmod -R 777 C:\tmp\hive

从计算机中删除基于 Derby 的本地元存储 metastore_db 目录(如果存在)。

C:\Users\<User_Name>\metastore_db

使用下面的命令启动spark shell

C:>spark-shell