apache-flink - 如何在 Apache Flink 中对数据集进行排序？

Question

我有一个 DataSet> 形式的元组数据集。我希望对字段 String 上的“整个”数据集进行排序，然后仅获取文件中的 Long 值。 Flink 确实提供了排序分区，但这在这里没有帮助，因为我需要对数据集进行完全排序。

Answer 1

您也可以使用 sortPartition()对完整的 DataSet 进行排序如果将并行度设置为 1 :

DataSet<Tuple2<String, Long>> data = ...
DataSet<Tuple2<String, Long>> sorted = data
  .sortPartition(0, Order.ASCENDING).setParallelism(1); // sort in one partition
DataSet<Long> longs = sorted.map(new LongExtractor());  // map to extract long