java - Java Spark如何将JavaPairRDD ，HashMap >保存到文件？

Question

经过一些复杂的聚合后，我得到了这个“JavaPairRDD<HashSet<String>, HashMap<String, Double>>” RDD，想将结果保存到文件中。我相信saveAsHadoopFile是这样做的不错的API，但是在为saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec)填写参数时遇到了麻烦。有人可以帮忙吗？

Answer 1

您可以使用以下函数，稍后再将其解析为所需的结果。

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

但是，如果要使用saveAsHadoopFile API，则可以使用以下方法。

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

您还可以使用 HadoopOutputFormat.class作为最后一个参数

有关更多信息，您可以引用此链接
HadoopFile