python - 如何在python的scrapy选择器中只提取文本

Question

我有这个代码

   site = hxs.select("//h1[@class='state']")
   log.msg(str(site[0].extract()),level=log.ERROR)

输出是

 [scrapy] ERROR: <h1 class="state"><strong>
            1</strong>
            <span> job containing <strong>php</strong> in <strong>region</strong> paying  <strong>$30-40k per year</strong></span>
                </h1>

是否可以只获取没有任何html标签的文本

Answer 1

//h1[@class='state']

在您上面的 xpath 中，您正在选择具有 class 属性 state

的 h1 标记

这就是为什么它选择 h1 元素

中的所有内容

如果你只想选择 h1 标签的文本，你所要做的就是

//h1[@class='state']/text()

如果你想选择 h1 标签的文本以及它的子标签，你必须使用

//h1[@class='state']//text()

所以区别是 /text() 用于特定标签文本，而 //text() 用于特定标签及其子标签的文本

下面提到的代码适合你

site = ''.join(hxs.select("//h1[@class='state']/text()").extract()).strip()