个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
32
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章python数据解析之XPath详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言.
xpath是最常用且最便捷高效的一种解析方式，通用型强，其不仅可以用于python语言中，还可以用于其他语言中，数据解析建议首先xpath.
。
xpath解析原理:
实例化一个etree的对象，且需要将被解析的页面源代码数据加载到该对象中 。
调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获 。
安装lxml 。
pip install -i https://mirrors.aliyun.com/pypi/simple/ lxml 。
from lxml import etreetree = etree.parse('./tree.html') #从本地加载源码，实例化一个etree对象。必须是本地的文件，不能是字符串tree = etree.HTML(源码) #从互联网加载源码，实例化etree对象# / 表示从从根节点开始，一个 / 表示一个层级，//表示多个层级r = tree.xpath('//div//a') #以列表的形式返回div下的所有的a标签对象的地址r = tree.xpath('//div//a')[1] #返回div下的第二个a标签对象地址r = tree.xpath('//div[@class="tang"]') #以列表的形式返回tang标签地址r = tree.xpath('//div[@class="tang"]//a') #以列表的形式返回tang标签下所有的a标签地址#获取标签中的文本内容r = tree.xpath('//div[@class="tang"]//a/text()') #以列表的形式返回所有a标签中的文本#获取标签中属性值r = tree.xpath('//div//a/@href') ##以列表的形式返回所有a标签中href属性值
tree.html 。
<html lang="en"> <head> <meta charset="utf-8" /> <meta name="theme-color" content="#ffffff"></meta> <title>xpaht测试</title> </head> <body> <div> <p>百里守约</p> </div> <div class="song"> <p>前程似锦</p> </div> <div class="song"> <p>前程似锦2</p> </div> <div class="ming"> #后面改了名字 <p>以梦为马</p> </div> <div class="tang"> <ul> <li><a href='http://123.com' <li><a href='http://ws.com' <li><a href='http://xzc.com' </ul> </div> <flink-root></flink-root> <script type="text/javascript" src="runtime.0dcf16aad31edd73d8e8.js"></script> <script type="text/javascript" src="es2015-polyfills.923637a8e6d276e6f6df.js"></script> <script type="text/javascript" src="polyfills.bb2456cce5322b484b77.js"></script> <script type="text/javascript" src="main.8128365baee3dc30e607.js"></script> </body></html>
。
将页面中的房源名称解析出来，即将title值解析出来就行 。
思路 。
import requestsfrom lxml import etreeurl = "https://bj.58.com/ershoufang/p1/"headers={ 'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'}pag_response = requests.get(url,headers=headers,timeout=3).text#实例化一个etree对象tree = etree.HTML(pag_response)r = tree.xpath('//span[@class="content-title"]/text()') #获取所有//span标签为"content-title"的文本内容print(r)
Tips：我们使用xpath进行数据解析时，不能直接看元素就进行构造xpath表达式，以为很多情况下从浏览中看的元素结构和爬取下来的源码结构不一样。所以正确方法是先将源码爬下来再观察进行构造xpath.
如下浏览器中的元素结构和爬取的元素结构就不一样。如果按照浏览器汇总的元素来构造xpath表达式，则不会解析成功！ 。
。
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注我的更多内容！ 。
原文链接：https://blog.csdn.net/qq_44159028/article/details/120527437 。
最后此篇关于python数据解析之XPath详解的文章就讲到这里了,如果你想了解更多关于python数据解析之XPath详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
32
4
0
编辑:为什么这被否决了？我真的不知道...顺便说一句 ../不起作用，因为我不想要 Table 的父级但实际上想要 ../td+1 我不知道这是否可能？ 嗨，大家好。 我手头有一个相当复杂的问题..
我很难找到需要单击的输入(复选框)元素的 xpath。我正在尝试使用其他跨度元素来定位它。元素包含 Angular 属性，不知道这是否重要？ 元素的结构如下: Company name
我正在尝试构建一个包含许多 XPath 作为参数的 DSL。我是 XPath 的新手，我需要一个 XPath 语法中从未使用过的字符，这样我就可以在脚本的一行中分隔 n 个 XPath。我的问题:哪些
使用xpath在父标签内找到特定标签： 输入样例：
我需要构造一个通用XPath来找到正确的节点，其中的标准是日期和时间。例如查找“ 5 May”，“ 12:17:44”的节点 XML具有日期和时间标签。 不方便地，日期标签仅在当天的第一次出现时填充。
我正在尝试获取xPath几个月内两个日期之间的差异。 几天之内我就没问题了（1127） days-from-duration(xs:date('2012-06-17')-xs:date('2009-0
我试图选择一个包含一段文本的元素，但是我不想选择包含该文本加上其他文本的元素。我通常会使用text()='abc def'，但是这个特定元素在前后都包含空格。 这是一个示例片段：
亲爱的，您能帮我用这个XPATH吗？可以说我有以下HTML代码 text value1 value2 text 我需要构建一
我正在尝试提取带有排除项的 xpath，但无法执行此操作。 (//div[@class='row site country-names']/following-sibling::div)[1]/di
response.xpath('//*[@id="blah"]//text()') 假设我的html是 This is a simple text foo and this is after tag.
除了那些具有"//ul/li[not(@*)][count(*)=0]"父项的人以外，我需要全部接受。我已经尝试过，但是不幸的是它不起作用。 有谁知道，我该怎么处理？ 提前致谢。 最佳答案 我认为您需
我使用XPath的问题是，每当我使用“子字符串”功能时，我只会得到一个匹配项，而我想全部获得它们。 另一个问题是，每当我使用“子字符串”和运算符的组合时它只是行不通（没有匹配项）。 例如：http:/
我正在尝试通过其位置和属性获取项目，但不知道如何做。 我要实现的是将这一点统一起来： Xpath("//h4/a[contains(@href,'#vuln_')]") 还有这个： Xpath
我有一个xpath如下： .//*[text()='Name:']/../child::select | .//*[text()='Name:']/../child::span 但是对我来说，它既不紧
我拼命试图在xpath中组合几个过滤器。假设我的数据如下所示： DELETE 1 This is my title my sh
我想在已经通过 xpath 设置的其他元素中使用 xpath 来指示元素的位置。 下面的一个已经通过 xpath 设置(我没有改变) //Base_Code
是否可以使用xpath直接在括号内抓取信息？还是以后再用正则表达式过滤？ HTML如下所示： Product name (UN1QU3 C0D3) 使用以下Xpath表达式，我可以在此中获取所有内容：
我试图使用一个XPath表达式来选择一个节点，该节点的子节点与文档中的另一个节点匹配。 匹配将意味着该节点的所有属性都相同。因此，如果将一个节点与多个属性进行比较，则无法进行单独的属性比较。 作为示例
我想在 XPath 表达式中使用 Iverson 括号(即映射 true => 1，false => 0)。 示例:而不是书写 someNumber+(if(elem1/elem2[@attr='12
是否可以以类似方式选择节点？ './tr[position() in (1, 3, 7)]' 我只找到以下解决方案： './tr[position() = 1 or position() = 3 or
我是一名优秀的程序员,十分优秀！