python - 在 Scrapy Start URL 中输入序列的第 N 个数字

Question

我正在寻找一种将序列的第 N 项输入到 Scrapy 起始 URL 的速记方法。例如，这是添加 24 号的较长版本:

   start_urls = ['https://www.example.com/us/shopping?items=24' ,
                 'https://www.example.com/us/shopping?items=48' ,
                 'https://www.example.com/us/shopping?items=72']

我发现诸如此类的 URL 模式在电子商务网站中很常见。对于序列中的每个数字，以下都很好用，但是我无法为第 N 个数字更改它:

start_urls = (
    "https://www.example.com/us/shopping?items=%s" % page for page in xrange(0,20)
)

如有任何帮助，我们将不胜感激。

Answer 1

xrange 中的第三个参数允许您提供一个step 将它增加多少。

我想这就是您要找的:

start_urls = [
    "https://www.example.com/us/shopping?items=%s" % page for page in xrange(24, 73, 24)
]

上面的代码将生成您在示例中给出的相同列表。

第一个参数 (24) 是从哪里开始，第二个参数 (73) 是在哪里停止(不包括，所以 73 在 72 上停止)，第三个参数 (24) 告诉 xrange 增加多少。