python - 无法使用 scrapy 提取分页链接

Question

我想识别多页面网站的 scrapy 的“下一页链接”。我感觉我无法以常见的方式做到这一点，因为 href-content 是空的(href="")。请参阅此处:

<div class="publicusers-page-navigation page-navigation">
<a href="" class="current" data-page-index="1">1</a>
<a href="" data-page-index="2">2</a><a href="" data-page-index="3">3</a>
<i>...</i>
<a href="" data-page-index="330">330</a>
<a href="" class="pagination-next" data-page-index="2">►</a>
</div>

我试过了 response.css('div.page-navigation > a::attr(href)').extract_first()

但它不起作用。

如果有人可以帮助我，我将不胜感激，因为我已经在这个问题上苦苦挣扎了一段时间。

Answer 1

您可以简单地生成网址，然后解析。

page = 0
for i in range(330):
    page+=1
    url = ('https://www.vdma.org/mitglieder'
        '?p_p_lifecycle=2&p_p_resource_id=getPage&p_p_id'
        '=vdma2publicusers_WAR_vdma2publicusers&s=&page='+str(page))
    print(url)