java - 使用 Streams 在 JAVA 中进行聚合，这是一种好方法吗？

Question

我正在玩一些 Java 流，我想出了一个问题的解决方案，我想与大家分享一下，看看我的方法是否正确。

我从 https://catalog.data.gov/dataset/consumer-complaint-database 下载了一个数据集其中有 700k+ 客户投诉记录。我使用的信息如下:

公司名称产品名称

我的目标是获得以下结果:

数据集中出现次数较多的10家公司

数据集中出现次数较多的10种产品

得到类似的东西

Map<String, Map<String,Integer>>

其中，主图的key为公司名称，副图的key为产品名称，其值为产品在该公司被投诉的次数。

所以我所做的解决方案如下:

@Test
public void joinGroupingsTest() throws URISyntaxException, IOException {
    String path = CsvReaderTest.class.getResource("/complains.csv").toURI().toString();
    complains = CsvReader.readFileStreamComplain(path.substring(path.indexOf('/')+1));

    Map<String, List<Complain>> byCompany = complains.parallelStream()
            .collect(Collectors.groupingBy(Complain::getCompany))
            .entrySet().stream()
            .sorted((f1, f2) -> Long.compare(f2.getValue().size(), f1.getValue().size()))
            .limit(10)
            .collect(Collectors.toMap(Entry::getKey, Entry::getValue));


    Map<String, List<Complain>> byProduct = complains.parallelStream()
            .collect(Collectors.groupingBy(Complain::getProduct))
            .entrySet().stream()
            .sorted((f1, f2) -> Long.compare(f2.getValue().size(), f1.getValue().size()))
            .limit(10)
            .collect(Collectors.toMap(Entry::getKey, Entry::getValue));

    Map<String, List<Complain>> map = complains.parallelStream()
            .filter((x) -> byCompany.get(x.getCompany()) != null
                && byProduct.get(x.getProduct()) != null)
            .collect(Collectors.groupingBy(Complain::getCompany));

    Map<String, Map<String, Long>> map2 = map.entrySet().parallelStream()
            .collect(Collectors.toMap(
                    e -> e.getKey(),
                    e -> e.getValue().stream()
                            .collect(Collectors.groupingBy(Complain::getProduct, Collectors.counting()))
            ));


   System.out.println(map2);


}

如您所见，我有几个步骤可以实现此目的:

1) 我得到了发生次数较多的 10 家公司以及相关的投诉(记录)

2)我得到了出现次数较多的10个产品和相关的投诉(记录)

3)我得到一张以公司名称为key的 map ，是之前计算的top 10公司中的，以及同样在top 10产品中的产品的投诉

4) 我进行必要的转换以获得我想要的 map 。

除了在两个不同的线程中 fork 和分离步骤 1 和 2 之外，我是否有任何其他考虑因素可能需要提高性能，甚至以更好的方式使用流。

谢谢!

Answer 1

在前两个操作中，您将集合分组到 List 中，只是为了按它们的大小排序。这是一种明显的资源浪费，因为您可以在分组时简单地计算组元素，然后按计数排序。此外，由于前两个操作是相同的，除了分组功能之外，值得通过为任务创建一个方法来消除代码重复。

其他两个流操作可以合而为一，方法是在收集组时立即对组执行 collect 操作。

public void joinGroupingsTest() throws URISyntaxException, IOException {
    String path = CsvReaderTest.class.getResource("/complains.csv").toURI().toString();
    complains = CsvReader.readFileStreamComplain(path.substring(path.indexOf('/')+1));

    Set<String> byCompany = getTopTen(complains, Complain::getCompany);
    Set<String> byProduct = getTopTen(complains, Complain::getProduct);

    Map<String, Map<String, Long>> map = complains.stream()
            .filter(x -> byCompany.contains(x.getCompany())
                      && byProduct.contains(x.getProduct()))
            .collect(Collectors.groupingBy(Complain::getCompany,
                Collectors.groupingBy(Complain::getProduct, Collectors.counting())));
   System.out.println(map);
}
static <T,V> Set<V> getTopTen(Collection<T> source, Function<T,V> criteria) {
    return source.stream()
            .collect(Collectors.groupingBy(criteria, Collectors.counting()))
            .entrySet().stream()
            .sorted(Map.Entry.comparingByValue())
            .limit(10)
            .map(Map.Entry::getKey)
            .collect(Collectors.toSet());
}

请注意，两个条件的交集可能小于十个元素，甚至可能为空。你可能会重新考虑这个条件。

此外，您应该始终重新检查数据量是否真的大到足以从并行处理中获益。另请注意，getTopTen 操作由两个流操作组成。将第一个切换为并行不会改变第二个的性质。