gpt4 book ai didi

python - 与另一端的连接以不干净的方式丢失

转载 作者:太空宇宙 更新时间:2023-11-04 03:55:28 25 4
gpt4 key购买 nike

from scrapy.spider import BaseSpider

class dmozSpider(BaseSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]

def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)

然后我运行“scrapy crawl dmoz”然后我得到了这个错误:

2013-09-14 13:20:56+0700 [dmoz] DEBUG: Retrying http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (failed 1 times): Connection to other side was lost in a non-clean fashion.

有人知道如何解决这个问题吗?

最佳答案

您需要检查您的互联网连接,或者如果您正在使用代理,请为代理身份验证设置环境变量。

在 Windows 中,尝试以下步骤:

  1. Win+R 输入“systempropertiesadvanced”(没有引用)
  2. 点击“环境变量...”按钮
  3. 添加 2 个新变量(用户/系统变量都可以):
name        | value------------+--------------------------------  HTTP_PROXY  | http://username:password@host:port HTTPS_PROXY | https://username:password@host:port

替代方式:setting-proxy-env

关于python - 与另一端的连接以不干净的方式丢失,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18799140/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com