python - scrapy response.xpath 在具有默认命名空间的 xml 文档上返回空数组，而 response.re 有效

Question

我是 scrapy 的新手，我正在玩 scrapy shell 试图抓取这个网站:www.spiegel.de/sitemap.xml

我用

scrapy shell "http://www.spiegel.de/sitemap.xml"

在我使用的时候一切正常

response.body 

我可以看到整个页面，包括 xml 标签

但是例如这个:

response.xpath('//loc') 

根本行不通。

我得到的结果是一个空数组

同时

response.selector.re('somevalidregexpexpression') 

会起作用

知道可能是什么原因吗？可能与编码有关？该网站不是 utf-8

我在 Win 7 上使用 python 2.7。我在另一个站点 (dmoz) 上尝试了 xpath()，它工作正常。

Answer 1

问题是由于 默认命名空间 在 XML 的根元素中声明的:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

因此在该 XML 中，根元素及其不带前缀的后代继承相同的 namespace ，隐式。

另一方面，在 XPath 中，您需要使用绑定(bind)到命名空间 URI 的前缀来引用该命名空间中的元素，没有暗示这样的默认命名空间。

您可以使用 selector.register_namespace()将命名空间前缀绑定(bind)到默认命名空间 URI，然后在您的 XPath 中使用该前缀:

response.selector.register_namespace('d', 'http://www.sitemaps.org/schemas/sitemap/0.9')
response.xpath('//d:loc')