python - 在 Scrapy 选择器中使用多个 xpath

Question

我必须像这样使用 Scrapy 抓取数据:

<div class="data"
     data-name="{"id":"566565", "name":"data1"}" 
     data-property="{"length":"444", "height":"678"}"
>
    data1
</div>
<div class="data"
     data-name="{"id":"566566", "name":"data2"}" 
     data-property="{"length":"555", "height":"777"}"
>
    data2
</div>

我需要data-name 和data-property 属性。我的选择器是:

selections = Selector(response).xpath('//div[@class="data"]/attribute::data-property').extract()

如何在选择中包含 data-name 属性？

Answer 1

以下 XPath 应返回 data-property 和 data-name 属性:

//div[@class='data']/attribute::*[name()='data-property' or name()='data-name']

XPath 演示:http://www.xpathtester.com/xpath/e720602b62461f3600989be73eb15aec

<小时/>

如果您需要为每个父 div 以某种格式成对返回两个属性，则无法使用纯 XPath 1.0 来完成此操作。需要一些Python，也许使用列表理解(未测试):

selections = [div.xpath('concat(@data-property, " ", @data-name)').extract() \
                   for div in Selector(response).xpath('//div[@class="data"]')]