java - 提升批量 HTTP REST 调用与 GET 方法调用并行的性能

Question

在我开发的应用程序中，我需要执行大量的 REST 调用。我需要与之交互的 REST API 资源的体系结构是分层的，如下所示:

/api/continents - return list of all Earth's continents
/api/continents/{continent_name}/countries - return list of all countries on mentioned continent
/api/continents/{continent_name}/countries/{country_name}/cities - return list of all cities in mentioned country

不幸的是，这个 API 没有提供任何方法来获取所有城市，我需要首先获取所有大陆的列表，然后获取每个大陆的所有国家/地区列表，然后获取所有城市的列表每个大陆的每个国家。

首先，我尝试实现我的方法，以便从该 API 获取所有城市，而无需仅通过连续调用进行并行化。类似的东西:

private List<City> getCities() {
    List<Continent> continents = getAllContinents(); //HTTP GET call
    List<Country> countries = new ArrayList<>();
    for (Continent continent: continents) {
        countries.addAll(getAllCountriesOfContinent(continent));
    }
    List<City> cities = new ArrayList<>();
    for (Country country : countries) {
        cities.addAll(getAllCitiesOfCountry(country));
    }
    return cities;
}

但是这种方法的效果太慢了(具体来说，它执行了大约 7 个小时)。我决定尝试使用 Java Parallel Streams 和 CompletableFuture 改进它，并得到了这样的方法:

private List<City> getCities() {
    return getAllContinents()
        .parallelStream()
        .map(continent -> getAllCountriesOfContinent(continent))
        .flatMap(feature -> feature.join().parallelStream())
        .map(country -> getAllCitiesOfCountry(country))
        .flatMap(feature -> feature.join().parallelStream())
        .collect(Collectors.toList());
}

其中 getAllCountriesOfContinent 和 getAllCitiesOfCountry 方法返回 CompletableFuture 列表，看起来像:

private CompletableFuture<List<Country>> getAllCountriesOfContinent(Continent continent) {
    return CompletableFuture.supplyAsync(() -> {
        return restClient.getDataFromApi(continent);
    });
}

private CompletableFuture<List<City>> getAllCitiesOfCountry(Country country) {
    return CompletableFuture.supplyAsync(() -> {
        return restClient.getDataFromApi(country);
    });
}

通过这样的重构，我的性能得到了很好的提升(它执行了大约 25-30 分钟)。但我认为我可以使用 Java ThreadPoolExecutors 和 Threads 或 ForkJoin 框架对其进行更多改进。这些方法是否会帮助我提高代码的性能，或者是否有一些其他的特殊技术/算法/框架？

Answer 1

Will such approaches help me to boost performance?

答案是:可能。

您看，parallelStream() 为您提供了多线程的“默认”实现(在幕后，此操作实际上使用了 ForkJoin 框架)。

换句话说:您可以随时退后一步，投入大量时间进行实验，使用不同的低层次方法，并衡量相应的结果。是的，很有可能，当您花费 1 周的时间微调您的算法时，您应该能够最终得到比依赖 Java 必须提供的“默认实现”更好的东西。

但是您获得了多少改进，以及您需要多长时间才能达到目标，这很难预测。

因此，真正的答案是:

• 衡量哪个操作需要多长时间，确定您在整体系统中的真正瓶颈(例如:一个典型的客户是否应该为每个国家/地区使用一个线程，以获取这些城市，或者更少的线程会更有帮助)
• 如果可能，增强 REST API 以简单地为您提供一个城市列表

长话短说:您必须做出权衡。您可以编写大量自定义代码以获得更好的结果。但是没有人可以预先告诉您您将获得的 yield ，以及由于“随着时间的推移编写和维护更复杂的代码”而将多少“成本”添加到您的“预算”中。