python - 允许使用 Scrapy Image Pipeline 进行重复下载吗？

Question

请参阅下面我的代码的示例版本，它使用 Scrapy Image Pipeline 从网站下载/抓取图像:

import scrapy
from scrapy_splash import SplashRequest
from imageExtract.items import ImageextractItem

class ExtractSpider(scrapy.Spider):
    name = 'extract'
    start_urls = ['url']

    def parse(self, response):
        image = ImageextractItem()
        titles = ['a', 'b', 'c', 'd', 'e', 'f']
        rel = ['url1', 'url2', 'url3', 'url4', 'url5', 'url6']

        image['title'] = titles
        image['image_urls'] = rel
        return image

一切正常，但根据默认设置，避免下载重复项。有什么方法可以覆盖这个以便我也可以下载重复项吗？谢谢。

Answer 1

感谢Tomáš的指导，最终我找到了下载重复图像的方法。

在 MediaPipeline 类的 _process_request 中，我注释了这些行。

# 如果请求已被看到，则返回缓存结果
# 如果 fp 在 info.downloaded 中:
# 返回 defer_result(info.downloaded[fp]).addCallbacks(cb, eb)


# 检查请求是否正在下载以避免重复下载
# 如果 fp 在 info.downloading 中:
# 返回一叠


会发生未捕获的 KeyError，但它似乎不会影响我的结果，因此我停止进一步挖掘。