gpt4 book ai didi

php - 有没有比 curl 更好的从其他网站获取信息的方法?

转载 作者:行者123 更新时间:2023-11-29 00:54:26 24 4
gpt4 key购买 nike

一个网站将信息存储在 id 中,例如 http://website.com/index.php?id=1。它有大约 500,000 条记录。

我需要检索它们并将其放入数据库 (MySQL)。现在我使用 curl 并获取该信息,但速度非常慢。我在一小时内只获得了大约 4,000 条记录。

我的问题是,有什么方法可以更快地做到这一点?

最佳答案

如果您不反对使用 perl,那么 CPAN 模块 Web::Scraper 是高效抓取页面的传统方式。参见 http://metacpan.org/pod/Web::Scraper .

关于php - 有没有比 curl 更好的从其他网站获取信息的方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6795925/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com