web-scraping - 如何在爬行中动态生成start_urls？

Question

我正在抓取一个可能包含很多 start_urls 的网站， 喜欢:

http://www.a.com/list_1_2_3.htm

我要填充 start_urls喜欢 [list_\d+_\d+_\d+\.htm] ,
并从 URL 中提取项目，例如 [node_\d+\.htm]在爬行过程中。

我可以用 CrawlSpider实现这个功能？
以及如何生成 start_urls动态爬行？

Answer 1

动态生成 URL 的最佳方法是覆盖 start_requests蜘蛛的方法:

from scrapy.http.request import Request

def start_requests(self):
      with open('urls.txt', 'rb') as urls:
          for url in urls:
              yield Request(url, self.parse)