python - 使用 Python 网页表格中的最后一个超链接

Question

我正在使用 Beautifulsoup4 来解析网页。与 Bing 的工作方式类似，如果您输入搜索词，它将返回前十次点击，随后在第 2 页、第 3 页等页面上的后续点击...查询后返回的第一页确实包含来自第 2 页的超链接直到最后一页。例如，我要确定的正是最后一页的内容(即第 87 页)。

以下是该页面的 HTML 源代码示例:

<tr><td colspan=4 align=left class='uilt'>����� ������� ��������: 3543.<br>��������: 1 <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=2">2</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=3">3</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=4">4</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=5">5</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=6">6</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=7">7</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=8">8</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=9">9</a> <a href="/main/search.php?str=&tag=&nopass=&cat=25&page=10">10</a> <br></td></tr>

在上面的示例中，我如何计算出最后一个链接是第 10 页？在上面之后还有更多的 HTML，所以我不能简单地从 HTML 代码的末尾切出 X 个位置。

谢谢

Answer 1

如果您询问如何使用 BeautifulSoup 在提供的 HTML 中找到最后一个链接 - 您可以使用 CSS Selector :

soup.select('td.uilt > a')[-1]

或者，使用 find() 和 find_all():

soup.find('td', class_='uilt').find_all('a')[-1]

不过，我同意该主题的其他参与者的观点，即不需要 BeautifulSoup。 Selenium 本身就是一个强大的工具并且有很多 techniques to locate elements on a page .