- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
这是我的第一篇文章,所以 Hello World !
我正在 Python3 中使用“requests”和“lxml”编写一个小型网络爬虫。我已经制作了一个,这是不同网站的第二个项目。
我遇到了奇怪的结果 - xpath 方法返回所有标签,而不是选定的 DIV。更糟糕的是,输出会乘以“offer-detail”DIV 出现的次数。
Xpath 计数返回正确的 DIV 数量,我还制作了 page.content 转储到文件并手动检查,一切都是正确的。我已经使用 Chrome 的“Xpath helper”插件在网站上检查了 xpath - screenshot
抓取器输出 - http://pastebin.com/1bEdzXdJ
(又长又乱)
但在我的第一个项目中,没有发生这样的情况,它仍然返回正确的输出。
抓取的网站地址:http://www.ibood.com/pl/pl/all-deals/
我非常感谢 move 高级用户的任何帮助:)
代码:
import requests
from fake_useragent import UserAgent
from lxml import html
ua = UserAgent()
header_data = {'User-Agent': ua.chrome}
website = 'http://www.ibood.com/pl/pl/all-deals/'
page = requests.get(website, headers=header_data)
document = html.fromstring(page.content)
# //div[@class="all-offers"]/div/div[@class="offer-wrap"]
# # /div[@class="offer-detail"]
deals = document.xpath('//div[@class="offer-detail"]')
count = document.xpath('count(//div[@class="offer-detail"])')
print('count: ' + str(count))
for deal in deals:
print(deal.xpath('//text()'))
最佳答案
print(deal.xpath('.//text()'))
//
表示从root开始获取所有后代
.//
表示从当前上下文节点('deal')获取所有后代
这将返回所有节点:
count: 4.0
['\n ', 'Przenośny głośnik Bluetooth UE MEGABOOM', '\n ', '\n ', 'Cena katalogowa ', '1.319,95 zł', 'Tylko', 'Dzisiaj', '579,95 zł', ' ', '\n ', '\n ', '\n ', 'Przewidywany czas wysyłki dla tego produktu to 13.01.2017', '\n ', '\n 29,95 zł Dostawa', ' ', '\n ', '\n ', '\n ', '\n ', '\n ', '\n ', '\n ', '\n ', '\n ', 'Wyprzedane!', '\n ', '\n ', '56%', 'zniżka', '\n ']
更好的方法:
for deal in deals:
print(deal.xpath('normalize-space(string())'))
输出:
count: 4.0
Przenośny głośnik Bluetooth UE MEGABOOM Cena katalogowa 1.319,95 złTylkoDzisiaj579,95 zł Przewidywany czas wysyłki dla tego produktu to 13.01.2017 29,95 zł Dostawa Wyprzedane! 56%zniżka
Ukośnica Metabo KGS 254 M Cena katalogowa 1.639,95 złTylkoDzisiaj1.024,95 zł Przewidywany czas wysyłki dla tego produktu to 17.01.2017 39,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 38%zniżka
3 pary bokserek SuperDry Cena katalogowa 179,95 złTylkoDzisiaj114,95 zł Przewidywany czas wysyłki dla tego produktu to 17.01.2017 29,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 36%zniżka
2 Ładowarki akumulatorów Philips MultiLife Cena katalogowa 124,95 złTylkoDzisiaj34,95 zł Przewidywany czas wysyłki dla tego produktu to 11.01.2017 29,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 72%zniżka
normalize-space
函数返回带有标准化空格的参数字符串,方法是去除前导和尾随空格并将空格字符序列替换为单个空格。
关于Python lxml xpath - 返回所有标签而不是所选标签,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41532601/
我有以下xml文件 10.10.0.135::3111 10.10.0.130::3111 10.10.0.129::3111 10.
我已经为 PyPy 创建了一个 virtualenv: virtualenv test -p `which pypy` source test/bin/activate 我安装了以下依赖项: sudo
我正在尝试使用 lxml 的 ElementTree etree 在我的 xml 文档中查找特定标签。标签如下所示: 12 我希望使用 etree.find('text:statedAge
在 python 3.5 项目中,我必须读取一些 xml 文件,因此我决定使用 lxml 库。由于我正在阅读文件,因此根据文档执行此操作的最有效方法是使用 lxml.etree.parse(...)
执行 pip install lxml 或 pip install pyquery 会出现此错误: gcc: error trying to exec 'cc1': execvp: No such f
我正在使用下面的代码获取一个部分的所有 html 内容以保存到数据库 el = doc.get_element_by_id('productDescription') lxml.html.tostri
我想以可区分的方式打印出 etree 的树结构(由 html 文档形成)(意味着两个 etree 应该以不同的方式打印出来)。 我所说的结构是指树的“形状”,基本上是指所有标签,但没有属性,也没有文本
谁能解释为什么第一次调用 root.cssselect() 有效,而第二次失败? from lxml.html import fromstring from lxml import etree htm
我收到此错误“ImportError: No module named lxml”,即使确实安装了 LXML。具体来说,它安装在项目的 python Virtualenv 中。最终我正在研究 Pyth
我在 Windows 32 位上使用 Anaconda v4.2 和 Python 3.5,并想使用 lxml etree。我的 Anaconda 发行版包括 lxml 3.6.4,但我的 IDE(P
我有一个脚本,可以从 URL 列表的 XML 文件中提取一些术语。所有 URL 都可以访问 XML 数据。 它在第一次正确打开、解析和提取时工作正常,但随后在过程中被某些 XML 文件中断并出现此错误
我正在使用 mechanize/cookiejar/lxml 来读取页面,它适用于某些页面但不适用于其他页面。我在其中遇到的错误是标题中的错误。我不能在这里发布页面,因为它们不是 SFW,但是有没有办
这是一个基本的问题,我实际上在文档中找不到它:-/ 如下: img = house_tree.xpath('//img[@id="mainphoto"]')[0] 如何获取 的 HTML标记? 我尝
我只想说,这个问题我已经在Pip is already installed: but I am getting no module named lxml看到了并且已经看到关于以非 root 用户身份安
我通过 pip 安装了 lxml 3.3.5。现在我在运行一些 Django 测试时遇到了问题: Traceback (most recent call last): File "manage.p
我有一个 Django 应用程序,其中包含 Tastypie 提供的 RESTFull 服务。我使用 easy_install 安装 lxml 和 defusedxml,这样我就可以使用 xml 而不
我正在使用 lxml etree 创建 xml 或 REST 调用。我有命名空间的问题,因为如果没有正确制定,我会从服务器收到语法错误。 正如您在以下 2 个示例中所看到的,我应该得到例如 ns1、n
我对导航具有 lxml.etree namespace 的 xml 文档感到有些困惑。 .我已经看到了一些关于这个主题的主题( 1 、 2 )以及 lxml docs但仍然没有想出答案。 xml =
由于各种原因,我试图从lxml.html.fromstring()切换到lxml.html.html5parser.document_fromstring()。两者之间的最大区别是,第一个返回lxml
我需要通过向现有元素添加子元素来修改现有的 xml 文件。我使用 lxml 库。 Eric Idle 999-999-999 555-555-555
我是一名优秀的程序员,十分优秀!