python - 从 url 列表中下载 页面的最佳方法是什么？

Question

我在列表中有 >100,000 个 url(不同的域)，我想下载这些 url 并将其保存在数据库中以供进一步处理和修补。

使用 scrapy 代替 python 的多处理/多线程是否明智？如果是，我该如何编写独立脚本来执行相同的操作？

此外，请随时提出您想到的其他很棒的方法。

Answer 1

如果您非常了解要获取的 URL(此处不涉及爬行)，那么 Scrapy 在这里似乎并不相关。

想到的最简单的方法是使用 Requests .但是，按顺序查询每个 URL 并阻止等待答案效率不高，因此您可以考虑 GRequests异步发送批量请求。