r - spark_write_csv dplyr 函数的 options 参数是什么？

Question

我一直在寻找制作 spark_write_csv 的方法仅将单个文件上传到 S3，因为我想将回归结果保存在 S3 上。我想知道 options有一些定义分区数的参数。我在文档中的任何地方都找不到它。或者有没有其他有效的方法将结果表上传到 S3？

任何帮助表示赞赏!

Answer 1

options参数等效 options 调用DataFrameWriter (您可以查看 DataFrameWriter.csv documentation 以获得特定于 CSV 源的完整选项列表)并且它不能用于控制输出分区的数量。

虽然一般 不推荐 ，您可以使用 Spark API 合并数据并将其转换回 sparklyr tbl :

df %>% 
  spark_dataframe() %>% 
  invoke("coalesce", 1L) %>% 
  invoke("createOrReplaceTempView", "_coalesced")

tbl(sc, "_coalesced") %>% spark_write_csv(...)

或者，在最近的版本中， sparklyr::sdf_coalesce

df %>% sparklyr::sdf_coalesce()