java - 如何对 Stream 的某些部分执行归约操作

Question

我遇到了一种情况，虽然我可以使用 Stream API 来处理，但我根本无法找到合适的解决方案。

情况如下:我有一个按标识符字段排序的元素流。该标识符有多个元素具有相同的值，我需要根据其他字段的条件对它们进行重复数据删除。从概念上讲，它可以看作是对流的几个 block 进行归约操作，产生相同类型的流。

目前，我设法提供的唯一解决方案是根据通用标识符收集流以获得类似 Map<Id, List<Elem>> 的内容。然后使用此映射的流来应用我的重复数据删除规则并继续。问题(以及为什么我不会使用这个解决方案)是 collect是一个终端操作，在这之后重新流意味着我将迭代我的元素两次。

更新

考虑下面的类:

public static class Item {
    private final int _id;
    private final double _price;

    public Item(final int id, final double price) {
        _id = id;
        _price = price;
    }

    public int id() {
        return _id;
    }

    public double price() {
        return _price;
    }
}

以及以下流:

final Stream<Item> items = Stream.<Item>builder()
        .add(new Item(1, 4))
        .add(new Item(1, 6))
        .add(new Item(1, 3))
        .add(new Item(2, 5))
        .add(new Item(2, 1))
        .add(new Item(3, 5))
        .build();

完成所需操作后，如果去重规则为“价格最高”，则流中应仅包含 Item(1, 6)、Item(2, 5) 和 Item(3, 5)。

如果我强制执行此操作，我可以在具有相同 id 的情况下使用我的项目，将它们备份到临时集合中，并在遇到具有不同 id 的项目时对该集合进行重复数据删除。

如果我使用collect首先按id对项目进行分组，我将在进行下一个操作之前一次性消耗所有数据，我需要避免这种情况。

Answer 1

对于大多数此类情况，临时存储，例如 Map ，是不可避免的。毕竟，映射的高效查找算法可以识别每个元素所属的组。此外，第一组可能包含源流的第一个和最后一个元素，而确定是否是这种情况的唯一方法是迭代整个源流。对于预排序数据的特殊情况来说，这可能不成立，但 API 没有提供利用它进行分组操作的方法。如果并行流支持存在的话，它也不会很好地发挥作用。

但请考虑 groupingBy collector accepting a downstream Collector 这使您可以将组减少到最终结果。如果是真正的减少，您可以使用，例如 reducing 作为下游收集器。这允许您将元素收集到 Map<Id, Reduced> 中。而不是Map<Id, List<Elem>> ，这样你就不会收集到 List之后必须减少。

对于任何类似的情况，如果您可以将后续操作描述为Collector ，当遇到组的第一个元素时，它的处理确实会立即开始。请注意，还有其他组合 Collector就像 mapping 和 collectingAndThen 。 Java 9 还将添加 filtering和flatMapping ，这样就可以表达很多典型的Stream以下游收集器的形式进行操作。为了方便起见，this collector将映射步骤与后续缩减步骤相结合。

只有在完全完成分组后，才能通过访问 Map.values() 对组进行进一步处理。 。如果最终结果应该是 Collection ，没有必要再次流式传输，因为现有的收集操作就足够了，例如您可以使用 new ArrayList<>(map.values())如果您需要 List而不是一个不具体的 Collection .

<小时/>

如果您担心在调用者对最终流开始终端操作之前不应执行该操作，您可以使用如下操作:

public Stream<ResultType> stream() {
    return StreamSupport.stream(() -> items.stream()
            .collect(Collectors.groupingBy(classificationFunc,
                Collectors.reducing(id, mappingFunc, reductionFunc)))
            .values().spliterator(),
        Spliterator.SIZED, false);
}