url - Scrapy:遵循具有特定规则的 URL

Question

我是 Scrapy 的新手，我无法在任何地方找到我需要做的事情。

我需要抓取一组非常相似的 URL，但我无法从一个到另一个访问。例如，我需要抓取以下网址:

www.example.com/1.html
www.example.com/2.html
(...)
www.example.com/1000.html

但是在第一页上没有到其他页面的链接，即是独立的。

我该怎么做？(对不起我的英语)

像这样:

class MySpider(BaseSpider):
   name = 'example.com'
   allowed_domains = ['example.com']
   Start_urls = [
      'http://www.example.com/1.html',
      'http://www.example.com/2.html',
      'http://www.example.com/3.html',
   ]

但对于超过3个不同的页面

谢谢!

Answer 1

如果页面都是这种形式 (www.example.com/x.html)，那么您可以这样做:

start_urls = ['http://www.example.com/%s.html' % page for page in xrange(1, 1000)]