python - Scrapy在什么情况下会抛出 "Connection was closed cleanly"错误？

Question

在站点上运行爬虫时，我多次收到以下错误消息:

<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>

当我在不同的网站上运行爬虫时，我没有收到这个错误，它试图访问的页面我可以通过浏览器或通过 curl 访问。因此，我想知道什么情况可能会导致出现此错误？

澄清一下，完整的错误大致如下:

2016-11-17 20:59:38 [scrapy] ERROR: Error downloading <GET http://www.peets.com/gifts/featured-gifts/holiday-gifts/sheng-puer-tea-50.html>: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

有许多不同的 url 会产生类似的错误，同样，如果我多次运行它，它也不会总是失败。所以我不清楚 ConnectionDone: Connection was closed cleanly 应该暗示什么问题。

Answer 1

今天我遇到了同样的错误。我认为那些网站有 Crawler 预防措施。如果我添加:

USER_AGENT = 'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0'  

在 settings.py 中它解决了错误。