scala - 如何将RDD数据保存到json文件而不是文件夹中

Question

我收到了要保存在S3中的流数据myDStream(DStream[String])(基本上，对于这个问题，我确切地希望在哪里保存输出都没有关系，但以防万一。

以下代码可以正常工作，但是它保存名称类似于jsonFile-19-45-46.json的文件夹，然后在文件夹内部保存_SUCCESS和part-00000文件。

是否可以将每个RDD[String](这些都是JSON字符串)数据保存到JSON 文件中，而不是文件夹中？我以为repartition(1)必须做出这个技巧，但事实并非如此。

    myDStream.foreachRDD { rdd => 
       // datetimeString = ....
       rdd.repartition(1).saveAsTextFile("s3n://mybucket/keys/jsonFile-"+datetimeString+".json")
    }

Answer 1

AFAIK没有选项将其另存为文件。因为这是一个分布式处理框架，并且不是在单个文件上写的好习惯，而是每个分区都在指定路径中写自己的文件。

We can pass only output directory where we wanted to save the data. OutputWriter will create file(s)(depends on partitions) inside specified path with part- file name prefix.