data.df cl-6ren">
gpt4 book ai didi

r - 无法将 R 数据帧转换为 Spark DataFrame

转载 作者:行者123 更新时间:2023-12-02 04:01:19 24 4
gpt4 key购买 nike

当我尝试使用以下方法将 R 中的本地数据帧转换为 Spark DataFrame 时:

raw.data <- as.DataFrame(sc,raw.data)

我收到这个错误:

17/01/24 08:02:04 WARN RBackendHandler: cannot find matching method class org.apache.spark.sql.api.r.SQLUtils.getJavaSparkContext. Candidates are: 17/01/24 08:02:04 WARN RBackendHandler: getJavaSparkContext(class org.apache.spark.sql.SQLContext) 17/01/24 08:02:04 ERROR RBackendHandler: getJavaSparkContext on org.apache.spark.sql.api.r.SQLUtils failed Error in invokeJava(isStatic = TRUE, className, methodName, ...) :

问题类似于 sparkR on AWS: Unable to load native-hadoop library and

最佳答案

如果您使用的是最新版本的 Spark,则无需使用 sc我在 RStudio 中使用版本为 2.0.0 的 SparkR 包。请完成以下代码(用于将 R session 与 SparkR session 连接):

if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "path-to-spark home/spark-2.0.0-bin-hadoop2.7")
}
library(SparkR)
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R","lib")))
sparkR.session(enableHiveSupport = FALSE,master = "spark://master url:7077", sparkConfig = list(spark.driver.memory = "2g"))

R控制台的输出如下:

> data<-as.data.frame(iris)
> class(data)
[1] "data.frame"
> data.df<-as.DataFrame(data)
> class(data.df)
[1] "SparkDataFrame"
attr(,"package")
[1] "SparkR"

关于r - 无法将 R 数据帧转换为 Spark DataFrame,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41823116/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com