java - saveAsTextFile 性能改进

Question

我使用了以下格式的数据源，最多 1500000

1
2
3
4
5
..
1500000

我使用了以下代码片段

JavaRDD<String> dataCollection=ctx.textFile("hdfs://yarncluster/Input/datasource");

JavaPairRDD<String,String> rdd=dataCollection.cartesian(dataCollection);

rdd.saveAsTextFile("hdfs://yarncluster/Ouput");

集群中保存数据需要更多时间。还有其他方法可以提高性能吗？

Answer 1

您可以通过对大量分区调用重新分区来提高并行度。