r - 在 sparkR 中加载 csv 文件

Question

在 R 中，我创建了两个数据集，并通过

保存为 csv 文件

liste <-write.csv(liste, file="/home/.../liste.csv", row.names=FALSE)
    data <- write.csv(data, file="/home/.../data.csv", row.names=FALSE)

我现在想在 SparkR 中打开这些 csv 文件。所以我输入

liste <- read.df(sqlContext, "/home/.../liste.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")

data <- read.df(sqlContext, "/home/.../data.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")

事实证明，在SparkR中成功加载了一个数据集'liste'，但是由于某些奇怪的原因无法加载'data'。

'liste' 只是 R 中的数字向量，而 'data' 是我在 R 中加载并删除了 data.frame 的某些部分的 data.frame。 SparkR 给我这个错误信息:

Error: returnStatus == 0 is not TRUE

Answer 1

Liste 是一个本地列表，可以用 write.csv 写入，data 是一个 SparkR DataFrame，不能用 write.csv 写入:它只写入它的指针，而不写入 DataFrame。这就是为什么它只有 33 kb