r - 初始化 sparkR : JVM is not ready after 10 seconds 时出错

Question

我目前正在使用 sparkR 测试一个应用程序。这是我的平台和应用程序详细信息:

Platform: Windows server 2008 SparkR version : R version 3.1.2 (2014-10-31) Spark Verion : version 1.4.1

我做了什么？

第一步:将包加载到 R 环境中

library(SparkR) -- Working

第二步:设置系统环境变量

Sys.setenv(SPARK_HOME = "C:\hdp\spark-1.4.1-bin-hadoop2.6") -- Working .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"),.libPaths()))

第三步:创建 spark 上下文和 SQL 上下文

sc <- sparkR.init(master = "local",sparkHome = "C:\hdp\spark-1.4.1-bin-hadoop2.6",appName = "TestSparR")

在此行出现错误，即 10 秒后 JVM 未准备就绪

请帮我解决这个问题。谢谢。

Answer 1

我遇到了同样的问题，我可以告诉你我尝试了很多很多东西。

但最终以下对我有用，在重新启动我的计算机(顺便说一下，还有 R 和 RStudio)之后:

SPARK_HOME <- "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\R\\lib")

library(SparkR)
library(rJava)

sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

也许这会有所帮助:重新启动系统后，这已包含在我的环境变量 PATH 中:

C:\ProgramData\Oracle\Java\javapath