gpt4 book ai didi

web-crawler - 如何抓取我的网站以检测 404/500 错误?

转载 作者:行者123 更新时间:2023-12-03 01:34:25 24 4
gpt4 key购买 nike

是否有任何快速(可能是多线程)的方法来抓取我的网站(单击所有本地链接)以查找 404/500 错误(即确保 200 响应)?

我还希望能够将其设置为仅单击每种类型的链接中的 1 个。因此,如果我有 1000 个类别页面,它只会点击其中一个。

http://code.google.com/p/crawler4j/一个好的选择吗?

我想要一些 super 容易设置的东西,而且我更喜欢 PHP 而不是 Java(尽管如果 Java 明显更快,那就没问题了)。

最佳答案

您可以使用旧版且稳定的 Xenu 工具来抓取您的网站。

你可以配置他使用100个线程,并按状态码对结果进行排序[500\404\200\403]

关于web-crawler - 如何抓取我的网站以检测 404/500 错误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11639630/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com