gpt4 book ai didi

java - 测试 300,000 多个 URL 的最有效 Java 方法

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:56:31 24 4
gpt4 key购买 nike

<分区>

我正在尝试找到最有效的方法来测试数据库中 300,000 多个 URL,以基本上检查 URL 是否仍然有效。环顾该站点后,我发现了许多出色的答案,现在我正在使用以下内容:

从文件中读取 URL....测试网址:

        final URL url = new URL("http://" + address);
final HttpURLConnection urlConn = (HttpURLConnection) url.openConnection();
urlConn.setConnectTimeout(1000 * 10);
urlConn.connect();
urlConn.getResponseCode(); // Do something with the code
urlConn.disconnect();

将详细信息写回文件....

所以有几个问题:1) 是否有更有效的方法来测试 URL 并获取响应代码?

2) 最初我每分钟能够测试大约 50 个 URL,但 5 分钟左右后速度真的变慢了 - 我想有些资源我没有发布但我不确定是什么

3) 即使设置了连接超时,某些 URL(例如 www.bhs.org.au)也会导致上面的内容挂起几分钟(当我有这么多 URL 要测试时不好),我是否可以收紧这是吗?

在此先感谢您的帮助,自从我编写任何代码以来已经有好几年了,我正在从头开始:-)

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com