gpt4 book ai didi

python - 垃圾。开始爬行后如何更改蜘蛛设置?

转载 作者:太空狗 更新时间:2023-10-29 21:55:37 30 4
gpt4 key购买 nike

我无法在解析方法中更改蜘蛛设置。但这绝对是一种方式。

例如:

class SomeSpider(BaseSpider):    name = 'mySpider'    allowed_domains = ['example.com']    start_urls = ['http://example.com']    settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.FirstPipeline']    print settings['ITEM_PIPELINES'][0]    #printed 'myproject.pipelines.FirstPipeline'    def parse(self, response):        #...some code        settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.SecondPipeline']        print settings['ITEM_PIPELINES'][0]        # printed 'myproject.pipelines.SecondPipeline'        item = Myitem()        item['mame'] = 'Name for SecondPipeline'  

但是!项目将由 FirstPipeline 处理。新的 ITEM_PIPELINES 参数不起作用。开始抓取后如何更改设置?提前致谢!

最佳答案

如果您希望不同的蜘蛛具有不同的管道,您可以为蜘蛛设置管道列表属性,该属性定义该蜘蛛的管道。比在管道中检查是否存在:

class MyPipeline(object):

def process_item(self, item, spider):
if self.__class__.__name__ not in getattr(spider, 'pipelines',[]):
return item
...
return item

class MySpider(CrawlSpider):
pipelines = set([
'MyPipeline',
'MyPipeline3',
])

如果您希望不同的项目由不同的管道处理,您可以这样做:

    class MyPipeline2(object):
def process_item(self, item, spider):
if isinstance(item, MyItem):
...
return item
return item

关于python - 垃圾。开始爬行后如何更改蜘蛛设置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10543997/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com