python - 抓取具有多个链接的页面上的特定链接？

Question

我试图收集一个特定的链接，以便稍后在整个脚本中访问它，但是我正在抓取的页面上有很多链接，并且它们都具有相同的 a href 标记。

如何具体选择一个？该网站是 bbb.org，我的代码如下。

例如，在 bbb 上搜索 lamps，我想收集嵌入企业名称的链接，以便稍后访问他们的个人资料。

#!/usr/bin/python

import requests
from bs4 import BeautifulSoup

def bbb_spider(max_pages):
bus_cat = raw_input('Enter a business category: ')
pages = 1
while pages <= max_pages:
    url = 'http://www.bbb.org/search/?type=category&input=' + str(bus_cat) + '&page=' + str(pages)
    sauce_code = requests.get(url)
    plain_text = sauce_code.text
    soup = BeautifulSoup(plain_text, "html.parser")
    for link in soup.findAll('a'):
        href = link.get('href')
        print(href)
    pages += 1

Answer 1

您需要位于搜索结果表内的 h4 元素内的链接。有不同的方法可以找到它们，但我会做一个 CSS selector :

soup.select("table.search-results-table tr h4 a")