python - 如何防止BeautifulSoup剥线

Question

我正在尝试将在线 html 页面翻译为文本。

我对这个结构有疑问:

<div align="justify"><b>Available in  
<a href="http://www.example.com.be/book.php?number=1">
French</a> and 
<a href="http://www.example.com.be/book.php?number=5">
English</a>.
</div>

这是它的 Python 字符串表示形式:

'<div align="justify"><b>Available in  \r\n<a href="http://www.example.com.be/book.php?number=1">\r\nFrench</a>; \r\n<a href="http://www.example.com.be/book.php?number=5">\r\nEnglish</a>.\r\n</div>'

使用时:

html_content = get_html_div_from_above()
para = BeautifulSoup(html_content)
txt = para.text

BeautifulSoup 将其翻译(在“txt”变量中)为:

u'Available inFrenchandEnglish.'

它可能会删除原始 html 字符串中的每一行。

对于这个问题你有一个干净的解决方案吗？

谢谢。

Answer 1

我终于找到了一个好的解决方案:

def clean_line(line):
    return re.sub(r'[ ]{2,}', ' ', re.sub(r'[\r\n]', '', line))

html_content = get_html_div_from_above()
para = BeautifulSoup(html_content)
''.join([clean_line(line) for line in para.findAll(text=True)])

哪些输出:

u'Available in French and English.  '