gpt4 book ai didi

php - 批量检查一百万个域的 HTTP header

转载 作者:可可西里 更新时间:2023-11-01 16:56:57 24 4
gpt4 key购买 nike

<分区>

我正在查看超过一百万个域的 HTTP header (即查找 200/404/302)

此时我不需要正文 HTML(尽管我以后可能需要)所以最好使用 HEAD 请求而不是 GET。我知道有些服务器不支持 HEAD,并且为了简单起见愿意牺牲那些不可检查的。

我已经尝试了许多用 PHP 编写的解决方案(curl、multi curl、几个 DIY curl 并行选项),但它们都不够快。

我很乐意使用任何语言,理想的结果是找到一个已经编译好的 C 应用程序,只需获取一个 url 列表并吐出 header 。例如,我使用一个预滚动的 DNS 应用程序来检查所有这些域的 DNS 设置,我所要做的就是打开一个管道并向它提供域,它会在答案进来时吐出答案(不一定在相同的顺序)。

它需要异步或线程化才能足够快。

我探索了一些 python 选项(如 Twisted 框架和 liburl2),但无法启动和运行任何可靠的选项。

希望有人能帮我指出现成的解决方案!

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com