python - 使用lxml在python中解析html和js

Question

我在 Python 中使用 lxml 解析 JS 时遇到问题。当我执行下面的代码时，我的输出是:

“<0x10cec4e10处的元素div>”

from lxml.html.clean import Cleaner
cleaner = Cleaner()
cleaner.javascript = True 

text = urllib2.urlopen("URL").read().decode("utf-8")
test = lxml.html.fromstring(cleaner.clean_html(text))
print test

我想要得到的是没有 js 内容的解析文本。有人可以透露一些信息吗？谢谢。

Answer 1

import lxml
import urllib2

URL = "http://www.google.com/"
ENCODING = "latin1"

args = {
    "javascript": True,         # strip javascript
    "page_structure": False,    # leave page structure alone
    "style": True               # remove CSS styling
}
cleaner = lxml.html.clean.Cleaner(**args)

# get the page source
html = urllib2.urlopen(URL).read().decode(ENCODING)
# clean it up
clean = cleaner.clean_html(html)

# print unformatted html dump
print(clean)

# print properly indented html
tree = lxml.html.fromstring(clean)
print(lxml.etree.tostring(tree, pretty_print=True))

请注意， pretty-print 可以在 lxml.etree.tostring() 中正常工作，但在 lxml.html.tostring() 中效果不佳，它会换行但不会缩进 - 看看吧。