gpt4 book ai didi

java - 如何使用 URLConnection 进行导航?

转载 作者:行者123 更新时间:2023-11-29 09:25:21 25 4
gpt4 key购买 nike

我的应用程序需要一些网络抓取功能。我有下载所有数据的 URL 对象。但是我需要抓取很多页面并创建很多 URL 对象,所以我打开了很多连接。如何优化它,以便我可以拥有一个连接并仅使用它导航到其他页面?

干杯

最佳答案

据我所知,每个 URL 必须有一个不同的 URLConnection(这是有道理的,因为底层网络连接也必须改变)。我严重怀疑创建这个对象是你的瓶颈;我怀疑是网络时间,但没有配置文件很难确定。

对于中等数量的页面,我会考虑一个工作队列(比如使用 ExecutorService )。对于大量页面,我什至可能会查看 Map/Reduce 的 Java 版本.

编辑:要使 Map/Reduce 比简单的工作队列更好,您需要有多台计算机来执行数据抓取。

关于java - 如何使用 URLConnection 进行导航?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2739869/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com