python - scrapy 错误 :exceptions. ValueError:请求 url 中缺少方案:

Question

我使用 try except 来避免错误，但我的终端仍然显示错误但没有显示日志消息:

raise ValueError('Missing scheme in request url: %s' % self._url)
exceptions.ValueError: Missing scheme in request url: 

当 scrapy 没有获取 image_urls 时，如何避免这个错误？
请指导我，非常感谢。

    try:

        item['image_urls'] = ["".join(image.extract()) ]     
    except:
        log.msg("no image foung!. url={}".format(response.url),level=log.INFO)

Answer 1

image_urls 字段应该是一个列表，而不是一个字符串。

item['image_urls'] = image.extract()

如果你这样做，并且仍然抛出异常，那么你抓取的 url 似乎是相对路径。

ImagePipeline 不知道您的主机，因此无法生成要抓取的绝对路径。

import urlparse
item['image_urls'] = [ urlparse.urljoin(response.url, u) for u in image.extract() ]