python - 如何在 python 中抓取分布在多行的 html 标签？

Question

我正在尝试用 python 抓取网页。我能够轻松获得单行标签的结果，但对于分布在多行的标签，我的代码无法检索任何内容。

在 HTML 源代码中，单行标签显示为:

<td><span class="facultyName">John Matthew Falletta, MD</span>

并且多行标签呈现为:

<td><span class="label">Division:</span>
            &nbsp;&nbsp;
                  </td><td>Hematology/Oncology</td>

这是我写的:

patFinderFullname = re.compile('<span class="facultyName">(.*)</span>')

fullname = re.findall(patFinderFullname,webpage)         #works fine

patFinderDivision = re.compile('<span class="label">Division:</span>&nbsp;&nbsp;</td><td>(.*)</td>')

division = re.findall(patFinderDivision,webpage)       #doesn't work

这里我的网页变量包含必须抓取的 url。有人可以指出我遗漏了什么或哪里错了吗？

Answer 1

我强烈建议您使用 BeautifulSoup .它是一个用于解析 HTML 文档的 Python 库。

P.s:如果您想坚持使用自己的代码，请使用\s* 跳过正则表达式中的空格。

patFinderDivision = re.compile('<span class="label">Division:</span>\s*&nbsp;&nbsp;\s*</td><td>(.*)</td>')