gpt4 book ai didi

scrapy - 在Scrapy的项目中使用多个蜘蛛

转载 作者:行者123 更新时间:2023-12-03 15:38:50 25 4
gpt4 key购买 nike

我想知道是否可以在同一项目中同时使用多个蜘蛛。其实我需要2个蜘蛛。第一个收集第二个蜘蛛应该爬取的链接。他们俩都在同一个网站上工作,所以域名是相似的,有可能吗?如果可以,请给我一个例子吗?
谢谢

最佳答案

也许这就是您要寻找的:

def parse(self, response):
# parse the links (aka your first spider)
for link in hxs('//XPATH'):
yield Request(link.extract(), callback=self.parse_link)

def parse_link(self, response):
# continue parsing (aka your second spider)

希望这对您有所帮助:)

关于scrapy - 在Scrapy的项目中使用多个蜘蛛,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4886940/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com