python - 如何在Scrapy中使用Xpath表达4位数字

Question

目的是使用 Scrapy 抓取网站。我想要得到的东西是每个 div 之间都有唯一的 4 位数字 id，如下所示:

<div id="3456" ...> Item 1 </div>
<div id="5643" ...> Item 2 </div>
<div id="8767" ...> Item 3 </div>

我需要知道如何在以下命令中通用地定义 4 位数字，以便我可以转到每个项目进行抓取。

for sel in response.xpath('//div[@id="4-digit-number-description"]'):

Answer 1

使用Scrapy，您可以使用regular expressions inside the XPath expressions ，非常方便:

response.xpath('//div[re:test(@id, "\d{4}")]')