python - 如何在单个 Scrapy 项目中为不同的蜘蛛使用不同的管道

Question

我有一个包含多个蜘蛛的scrapy 项目。有什么方法可以定义哪些管道用于哪个蜘蛛？并非我定义的所有管道都适用于每个蜘蛛。

谢谢

Answer 1

只需从主要设置中删除所有管道并在蜘蛛内部使用它。

这将定义每个蜘蛛用户的管道

class testSpider(InitSpider):
    name = 'test'
    custom_settings = {
        'ITEM_PIPELINES': {
            'app.MyPipeline': 400
        }
    }