python - 用 BeautifulSoup 按摩或用 Regex 清洁

Question

有人能告诉我什么是清理不良 HTML 以便 BeautifulSoup 可以处理它的更好方法 - 应该使用 BeautifulSoup 的按摩方法还是使用正则表达式清理它？

Answer 1

我想我应该改写我的回答。

内置的 massages 适用于轻度损坏(额外的空格、无结束斜杠等)。在进一步参与之前，我当然会尝试摆脱这些。

您可以 pass in your own massages我建议您扩展默认设置:

import copy, re

myMassage = [(re.compile('<!-([^-])'), lambda match: '<!--' + match.group(1))]
myNewMassage = copy.copy(BeautifulSoup.MARKUP_MASSAGE)
myNewMassage.extend(myMassage)

BeautifulSoup(badString, markupMassage=myNewMassage)
# Foo<!--This comment is malformed.-->Bar<br />Baz

你最好这样做，因为它全部进入一个解析 jar ，获得 BeautifulSoups 优化......尽管运行时性能可能非常相似。