apache-spark - 写入 Spark 中指定的 Parquet 文件名

Question

我正在使用 SparkR，并且我想使用 write.df 作为特定文件夹:

write.df(my.sdf,path='/path/to/folder/',source='parquet')

理想情况下，我想指定完整路径名，即 /path/to/folder/this_parquet_file.parquet.gz

这可能吗？

Answer 1

简而言之:不。

您可以使用coalesce(1)来减少parquet文件夹内的文件数量，但仅此而已。写入执行器的输出总是会产生多个文件，因为这就是它为扩展而设计的方式。