python - 无法让 Scrapy/Xpath 注意到 double

Question

我正在尝试使用 scrapy 抓取一些诗歌，我有这样的文本:

Lorem ipsum dolor sit amet,<br>  
consectetuer adipiscing elit.<br> 
<br> 
Aenean commodo ligula eget dolor.<br> 
Aenean massa

我用 scrapy 选择它的 xpath，如下所示:

In [1]: sel.xpath('//div[@class="box"]/text()').extract()
Out[1]:
[u'Lorem ipsum dolor sit amet,',
 u'consectetuer adipiscing elit.',
 u'Aenean commodo ligula eget dolor.',
 u'Aenean massa',]

我怎样才能使它不忽略额外的 br ？

Answer 1

XPath 查询强制 Scrapy 不返回 <br>标签

Scrapy 忽略<br>标签，因为你告诉它这样做。您的 XPath 查询

//div[@class="box"]/text()

选择 //div[@class="box"] 的所有直接文本节点子节点，并且仅选择那些。任何其他节点类型都会被忽略，其中 <br>标签。

将搜索范围扩展到 <br>标签

如果您还想要 <br>要返回的标记，选择两个文本节点和 <br>代币:

(//div[@class="box"]/text() | //div[@class="box"]/br)

现在，循环所有结果。如果您遇到文本节点，则返回其内容，对于 ( <br> ) 标记返回换行符。