java - 如何在 Java 中使用 repartitionAndSortWithinPartitions

Question

任何人都可以给出一个关于如何在 Java(而不是 scala)中使用 repartitionAndSortWithinPartitions 的清晰示例吗？

提前致谢!!阿尼

Answer 1

拿JavaPairRDD<K, V> :

JavaPairRDD<K, V> rdd = ...;

定义分区器:

Partitioner partitioner = ...;

可以选择定义 Comparator<K>如果需要的话。

Comparator<K> comparator = ...;

使用方法:

JavaPairRDD<K, V> repartitioned =
  rdd.repartitionAndSortWithinPartitions(partitioner);

或

JavaPairRDD<K, V> repartitioned =
  rdd.repartitionAndSortWithinPartitions(partitioner, comparator);