python - 使用 scrapy - python 进行 HXS 过滤

Question

我是这个领域的新手，我需要更多信息。我在互联网上找不到任何信息。例如现在我使用这个函数 hxs.select('//div[@id="CategoryBreadcrumb"]//text()').extract() 。在这个 div 中，我有 ul 和 li，每个 li 中都有 anchors但一个。我需要 li 中没有 a 标签的文本。如果您也提供任何有关 hxs 过滤的教育链接，我将不胜感激。提前致谢!如果您无法想象我需要什么，这里有一个示例。

<div id='CategoryBreadcrumb'>
<ul>
  <li><a href=#>I dont need</a></li>
  <li><a href=#>I dont need</a></li>
  <li><a href=#>I dont need</a></li>
  <li>Text that i need</li>
</ul>
</div>

Answer 1

尝试:

hxs.select('//div[@id = "CategoryBreadcrumb"]/ul/li/text()')

要了解有关 XPath 的更多信息，请参阅 w3schools对于基础知识，和w3.org获取完整规范。

---

PS:scrapy使用的是lxml。您可以使用如下代码测试您的 XPath:

import lxml.html as LH

text = '''
<div id='CategoryBreadcrumb'>
<ul>
  <li><a href=#>I dont need</a></li>
  <li><a href=#>I dont need</a></li>
  <li><a href=#>I dont need</a></li>
  <li>Text that i need</li>
</ul>
</div>
'''

doc = LH.fromstring(text)
print(doc.xpath('//div[@id = "CategoryBreadcrumb"]/ul/li/text()'))

# ['Text that i need']