gpt4 book ai didi

java - 并发执行 : Future vs parallelstream

转载 作者:塔克拉玛干 更新时间:2023-11-01 21:37:54 25 4
gpt4 key购买 nike

我编写了一个可调用程序,用于轮询远程客户端以获取信息并以列表形式返回该信息。我正在使用线程池执行器、for 循环和 Future 来针对多个远程客户端并行执行任务。然后,我将所有 Future 列表与 addAll() 结合起来,并使用巨大的组合列表。

我的问题是,在这里使用 parallelstream() 会比使用 future 和 for 循环更有效吗?编码当然更容易!如果我走那条路,我还需要线程池执行器吗?

谢谢!

        for(SiteInfo site : active_sites) {
TAG_SCANNER scanr = new TAG_SCANNER(site, loggr);
Future<List<TagInfo>> result = threadmaker.submit(scanr);

//SOUND THE ALARMS
try {
alarm_tags.addAll(result.get());
} catch (InterruptedException | ExecutionException e) {
e.printStackTrace();
}
}

可能的解决方案代码? Netbeans 提出了类似的建议

active_sites.parallelstream().map((site) -> new TAG_SCANNER(site, loggr)).map((scanr) -> threadmaker.submit(scanr)).forEach((result) -> {
//SOUND THE ALARMS
try {
alarm_tags.addAll(result.get());
}
catch (InterruptedException | ExecutionException e) {
e.printStackTrace();
}
});

最佳答案

这里有几个误解。首先,如果调用 Future.get,使用异步任务不会提高资源利用率。提交任务后,立即等待任务完成再提交下一个任务。

其次,Netbeans 进行的代码转换产生了一个基本相同的代码,仍然将任务提交给 Executor所以这不是“Future vs parallelstream”的问题,因为你只是用并行流执行提交(和等待)并且仍然使用执行器。由于您的第一个错误,并行执行它可能会提高吞吐量,但除此之外,将两个错误结合起来让它们相互抵消绝不是一个好主意,这仍然是一个糟糕的解决方案:

Stream API 的标准实现针对 CPU 密集型任务进行了优化,创建与 CPU 核心数量相匹配的线程数量,并且当这些线程在等待操作中被阻塞时不会产生新线程。因此,使用并行流来执行 I/O 操作,或者通常可能等待的操作,并不是一个好的选择。而且您无法控制实现所使用的线程。

更好的选择是留在 ExecutorService您可以根据您对远程客户端的预期 I/O 带宽进行配置。但是你应该修复提交后立即等待的错误,先提交所有任务,然后等待所有任务完成。请注意,您可以为此使用流 API,但不是为了更好的并行性,而是可能提高可读性:

// first, submit all tasks, assuming "threadmaker" is an ExecutorService
List<Future<List<TagInfo>>> futures=threadmaker.invokeAll(
active_sites.stream()
.map(site -> new TAG_SCANNER(site, loggr))
.collect(Collectors.toList())
);
// now fetch all results
for(Future<List<TagInfo>> result: futures) {
//SOUND THE ALARMS
try {
alarm_tags.addAll(result.get());
} catch (InterruptedException | ExecutionException e) {
// not a recommended way of handling
// but I keep your code here for simplicity
e.printStackTrace();
}
}

请注意,此处使用的流 API 是顺序并且仅用于转换您的 SiteInfo 列表到 Callable<List<TagInfo>> 的列表,但您可以使用循环执行相同的操作。

关于java - 并发执行 : Future vs parallelstream,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36456032/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com