gpt4 book ai didi

python - 如何使用 Python 2 和 Python 3 中的内置库 ElementTree 等实体解析 HTML?

转载 作者:行者123 更新时间:2023-11-28 04:49:32 26 4
gpt4 key购买 nike

有时你想解析一些格式合理的 HTML 页面,但又不愿意引入额外的库依赖项,例如 BeautifulSoup 或 lxml。所以你可能会喜欢首先尝试内置的 ElementTree,因为它是一个标准库,速度快(用 C 实现),并且它支持比基本的 HTMLParser 更好的接口(interface)(比如 XPATH 支持)。更不用说,HTMLParser has its own limitations .

ElementTree 会一直工作,直到它遇到一些实体,例如  ,默认情况下不会处理这些实体。

import xml.etree.ElementTree as ET

html = '''<html>
<div>Some reasonably well-formed HTML content.</div>
<form action="login">
<input name="foo" value="bar"/>
<input name="username"/><input name="password"/>

<div>It is not unusual to see &nbsp; in an HTML page.</div>

</form></html>'''
et = ET.fromstring(html)

在 Python 2 或 Python 3 上运行它,你会看到这个错误:

xml.etree.ElementTree.ParseError: undefined entity: line 7, column 38

那里有一些问答,例如this onethat one .他们提示使用 ElementTree.XMLParser().parser.UseForeignDTD(True) 但我无法在 Python 3.3 和 Python 3.4 中使用它。

$ python3.3
Python 3.3.5 (v3.3.5:62cf4e77f785, Mar 9 2014, 01:12:57)
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import xml.etree.ElementTree as ET
>>> ET.XMLParser().parser
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'xml.etree.ElementTree.XMLParser' object has no attribute 'parser'
>>>

最佳答案

灵感来自 this post ,我们可以在传入的原始 HTML 内容前添加一些 XML 定义,然后 ElementTree 就可以开箱即用。

这适用于 Python 2.6、2.7、3.3、3.4。

import xml.etree.ElementTree as ET

html = '''<html>
<div>Some reasonably well-formed HTML content.</div>
<form action="login">
<input name="foo" value="bar"/>
<input name="username"/><input name="password"/>

<div>It is not unusual to see &nbsp; in an HTML page.</div>

</form></html>'''

magic = '''<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd" [
<!ENTITY nbsp ' '>
]>''' # You can define more entities here, if needed

et = ET.fromstring(magic + html)

关于python - 如何使用 Python 2 和 Python 3 中的内置库 ElementTree 等实体解析 HTML?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35591478/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com