java - 使用 apache-spark 进行合并排序

Question

我是 Apache Spark 的新手，我必须在 apache Spark 中为合并排序编写 java 代码。

SparkConf conf = new SparkConf().setMaster("local").setAppName("Merge Sort App");
JavaSparkContext sc = new JavaSparkContext(conf);

JavaRDD<Integer> input = sc.parallelize(a); // where a is list of Integers  

我已完成在 javaRDD<Integer> 中加载整数数组列表:

I have to use integer element list to sort using megersort with apache spark.

有什么帮助吗？

Answer 1

您可以定义一个函数merge接受两个 Integer 类型的列表并输出 Integer 的单个排序列表的。然后调用 input.reduce(<classname>::merge) 。

当然，这取决于您的 RDD 持有 Integer 列表s 而不是单个元素。想想合并排序的第一部分，其中递归到单个元素。您可以通过编写方法 toList 来做到这一点这需要 Integer并输出 List里面有那个元素。那么你就可以做input.map(<classname>::toList).reduce(<classname>::merge) 。