r - Sparkr 将 DF 写入文件 csv/txt

Question

您好，我正在 yarn 模式下开发 sparkR。

我需要将 sparkr df 写入 csv/txt 文件。

我看到有 write.df 但它写入 Parquet 文件。

我试着做这件事

RdataFrame<-collect(SparkRDF)
write.table(RdataFrame, ..)

但是我在 contextCleaner 上收到了很多 WARN 和一些 ERROR。

有什么办法吗？

Answer 1

Spark 2.0+

您可以使用write.text 函数:

Save the content of the SparkDataFrame in a text file at the specified path. The SparkDataFrame must have only one column of string type with the name "value". Each row becomes a new line in the output file.

write.text(df, path)

或使用内置 SparkR csv 编写器的 write.df:

write.df(df, path, source="csv")

Spark 1.x

您可以使用 spark-csv包裹:

write.df(SparkRDF, "foo.csv", "com.databricks.spark.csv", ...)

它可以通过 packages 参数添加到 SparkR/spark-submit 中:

sparkR --packages com.databricks:spark-csv_2.10:1.3.0 # For Scala 2.10
sparkR --packages com.databricks:spark-csv_2.11:1.3.0 # For Scala 2.11

有关其他选项，请参阅 the official documentation