r - Windows 上的 SparkR - Spark SQL 不是使用 Hive 支持构建的

Question

我正在尝试在我的机器上本地使用 Spark，并且我能够在以下位置重现该教程:

http://blog.sparkiq-labs.com/2015/07/26/installing-and-starting-sparkr-locally-on-windows-os-and-rstudio/

但是，当我尝试使用 Hive 时，出现以下错误:

Error in value[3L] : Spark SQL is not built with Hive support

代码:

## Set Environment variables
Sys.setenv(SPARK_HOME = 'F:/Spark_build')
# Set the library Path
.libPaths(c(file.path(Sys.getenv('SPARK_HOME'), 'R','lib'),.libPaths()))

# load  SparkR
library(SparkR)

sc <- sparkR.init()
sqlContext <- sparkRHive.init(sc)

sparkR.stop()

起初我怀疑它是 Spark 的预构建版本，然后我尝试使用 Maven 构建自己的版本，这花了将近一个小时:

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-thriftserver -DskipTests clean package.

但是，错误仍然存​​在。

Answer 1

如果您只是按照教程的说明进行操作，那么您根本就没有安装 Hive(从命令行尝试 hive)...我发现这是 Spark 初学者的一个常见困惑点:“为 Hadoop 预构建”并不意味着它需要 Hadoop，更不用说它包含 Hadoop(它不包含)，Hive 也是如此。