个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
我正在尝试获取 XML 文件中某些标签属性的键和值(使用 scrapy 和 xpath)。
标签是这样的:
<element attr1="value1" attr2="value2 ...>
我不知道“attr1”、“attr2”等键，它们可以在两个元素之间变化。我没有弄清楚如何使用 xpath 获取键和值，还有其他好的做法吗？
最佳答案
精简版
>>> for element in selector.xpath('//element'):
... attributes = []
... # loop over all attribute nodes of the element
... for index, attribute in enumerate(element.xpath('@*'), start=1):
... # use XPath's name() string function on each attribute,
... # using their position
... attribute_name = element.xpath('name(@*[%d])' % index).extract_first()
... # Scrapy's extract() on an attribute returns its value
... attributes.append((attribute_name, attribute.extract()))
...
>>> attributes # list of (attribute name, attribute value) tuples
[(u'attr1', u'value1'), (u'attr2', u'value2')]
>>> dict(attributes)
{u'attr2': u'value2', u'attr1': u'value1'}
>>>
长版
XPath 有一个 name(node-set?) function获取节点名称(an attribute is a node, an attribute node):
The name function returns a string containing a QName representing the expanded-name of the node in the argument node-set that is first in document order.(...) If the argument it omitted, it defaults to a node-set with the context node as its only member.
(来源:http://www.w3.org/TR/xpath/#function-name)
>>> import scrapy
>>> selector = scrapy.Selector(text='''
... <html>
... <element attr1="value1" attr2="value2">some text</element>
... </html>''')
>>> selector.xpath('//element').xpath('name()').extract()
[u'element']
(在这里，我将 name() 链接到 //element 选择的结果，以将函数应用于所有选定的元素节点。一个方便的功能Scrapy 选择器)
有人想对属性节点做同样的事情，对吧？但它不起作用:
>>> selector.xpath('//element/@*').extract()
[u'value1', u'value2']
>>> selector.xpath('//element/@*').xpath('name()').extract()
[]
>>>
注意:我不知道这是 lxml/libxml2 的限制，Scrapy 在后台使用它，还是 XPath 规范不允许它。 (我不明白为什么会这样。)
不过，您可以做的是使用 name(node-set) 形式，即使用非空节点集作为参数。如果您仔细阅读我上面粘贴的 XPath 1.0 规范部分，与其他字符串函数一样，name(node-set) 仅考虑 first node节点集(按文档顺序):
>>> selector.xpath('//element').xpath('@*').extract()
[u'value1', u'value2']
>>> selector.xpath('//element').xpath('name(@*)').extract()
[u'attr1']
>>>
属性节点也有位置，因此您可以按位置遍历所有属性。这里我们有 2(上下文节点上 count(@*) 的结果):
>>> for element in selector.xpath('//element'):
... print element.xpath('count(@*)').extract_first()
...
2.0
>>> for element in selector.xpath('//element'):
... for i in range(1, 2+1):
... print element.xpath('@*[%d]' % i).extract_first()
...
value1
value2
>>>
现在，您可以猜出我们可以做什么:为每个 @*[i]
name()
>>> for element in selector.xpath('//element'):
... for i in range(1, 2+1):
... print element.xpath('name(@*[%d])' % i).extract_first()
...
attr1
attr2
>>>
如果将所有这些放在一起，并假设 @* 将按文档顺序获取属性(我认为在 XPath 1.0 规范中没有说明，但这是我在 中看到的情况lxml)，你最终会得到这个:
>>> attributes = []
>>> for element in selector.xpath('//element'):
... for index, attribute in enumerate(element.xpath('@*'), start=1):
... attribute_name = element.xpath('name(@*[%d])' % index).extract_first()
... attributes.append((attribute_name, attribute.extract()))
...
>>> attributes
[(u'attr1', u'value1'), (u'attr2', u'value2')]
>>> dict(attributes)
{u'attr2': u'value2', u'attr1': u'value1'}
>>>
关于python - 使用 Scrapy XPATH 获取属性名称，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32790549/
24
4
0
编辑:为什么这被否决了？我真的不知道...顺便说一句 ../不起作用，因为我不想要 Table 的父级但实际上想要 ../td+1 我不知道这是否可能？ 嗨，大家好。 我手头有一个相当复杂的问题..
我很难找到需要单击的输入(复选框)元素的 xpath。我正在尝试使用其他跨度元素来定位它。元素包含 Angular 属性，不知道这是否重要？ 元素的结构如下: Company name
我正在尝试构建一个包含许多 XPath 作为参数的 DSL。我是 XPath 的新手，我需要一个 XPath 语法中从未使用过的字符，这样我就可以在脚本的一行中分隔 n 个 XPath。我的问题:哪些
使用xpath在父标签内找到特定标签： 输入样例：
我需要构造一个通用XPath来找到正确的节点，其中的标准是日期和时间。例如查找“ 5 May”，“ 12:17:44”的节点 XML具有日期和时间标签。 不方便地，日期标签仅在当天的第一次出现时填充。
我正在尝试获取xPath几个月内两个日期之间的差异。 几天之内我就没问题了（1127） days-from-duration(xs:date('2012-06-17')-xs:date('2009-0
我试图选择一个包含一段文本的元素，但是我不想选择包含该文本加上其他文本的元素。我通常会使用text()='abc def'，但是这个特定元素在前后都包含空格。 这是一个示例片段：
亲爱的，您能帮我用这个XPATH吗？可以说我有以下HTML代码 text value1 value2 text 我需要构建一
我正在尝试提取带有排除项的 xpath，但无法执行此操作。 (//div[@class='row site country-names']/following-sibling::div)[1]/di
response.xpath('//*[@id="blah"]//text()') 假设我的html是 This is a simple text foo and this is after tag.
除了那些具有"//ul/li[not(@*)][count(*)=0]"父项的人以外，我需要全部接受。我已经尝试过，但是不幸的是它不起作用。 有谁知道，我该怎么处理？ 提前致谢。 最佳答案 我认为您需
我使用XPath的问题是，每当我使用“子字符串”功能时，我只会得到一个匹配项，而我想全部获得它们。 另一个问题是，每当我使用“子字符串”和运算符的组合时它只是行不通（没有匹配项）。 例如：http:/
我正在尝试通过其位置和属性获取项目，但不知道如何做。 我要实现的是将这一点统一起来： Xpath("//h4/a[contains(@href,'#vuln_')]") 还有这个： Xpath
我有一个xpath如下： .//*[text()='Name:']/../child::select | .//*[text()='Name:']/../child::span 但是对我来说，它既不紧
我拼命试图在xpath中组合几个过滤器。假设我的数据如下所示： DELETE 1 This is my title my sh
我想在已经通过 xpath 设置的其他元素中使用 xpath 来指示元素的位置。 下面的一个已经通过 xpath 设置(我没有改变) //Base_Code
是否可以使用xpath直接在括号内抓取信息？还是以后再用正则表达式过滤？ HTML如下所示： Product name (UN1QU3 C0D3) 使用以下Xpath表达式，我可以在此中获取所有内容：
我试图使用一个XPath表达式来选择一个节点，该节点的子节点与文档中的另一个节点匹配。 匹配将意味着该节点的所有属性都相同。因此，如果将一个节点与多个属性进行比较，则无法进行单独的属性比较。 作为示例
我想在 XPath 表达式中使用 Iverson 括号(即映射 true => 1，false => 0)。 示例:而不是书写 someNumber+(if(elem1/elem2[@attr='12
是否可以以类似方式选择节点？ './tr[position() in (1, 3, 7)]' 我只找到以下解决方案： './tr[position() = 1 or position() = 3 or
我是一名优秀的程序员,十分优秀！