gpt4 book ai didi

scrapy - 如何在scrapy中设置TCP连接超时?

转载 作者:行者123 更新时间:2023-12-04 18:47:26 26 4
gpt4 key购买 nike

爬一个慢的网站时,总是报错:TCP connection timed out: 10060。我猜这可能是爬虫试图与服务器建立TCP连接并且默认连接超时太低时发生的。

我知道可以在scrapy中设置下载超时,但是我发现没有办法设置连接超时。有没有人有一些想法?谢谢!

最佳答案

DOWNLOAD_TIMEOUT 可以在scrapy 项目的settings.py 中设置

http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout

关于scrapy - 如何在scrapy中设置TCP连接超时?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12003233/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com