gpt4 book ai didi

python - Scrapy 爬取链接列表

转载 作者:太空宇宙 更新时间:2023-11-04 06:03:07 25 4
gpt4 key购买 nike

我正在抓取一个页面并从 hrefs 获取链接列表

['www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0347','www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0346', 'www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=AXS0229' ....]

是否可以从同一个蜘蛛抓取这些链接?这就像爬虫已经在抓取链接时抓取另一个链接一样。我不需要代码,只需要一些关于如何完成的指南。

最佳答案

使用 CrawlSpider并为链接列表定义适当的规则?

关于python - Scrapy 爬取链接列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23677812/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com