python - 通过不同的方法使用 beautiful soup 获取 href

Question

我正在尝试抓取一个网站。我学会了从两种资源中抓取:一种使用 tag.get('href') 从 a 标记获取 href，另一种使用 tag[' href'] 得到相同的结果。据我了解，他们都做同样的事情。但是当我尝试这段代码时:

link_list = [l.get('href') for l in soup.find_all('a')]

它适用于 .get 方法，但不适用于字典访问方式。

link_list = [l['href'] for l in soup.find_all('a')]

这会引发KeyError。我对抓取还很陌生，所以如果这是一个愚蠢的行为，请原谅。

编辑 - 这两种方法都适用于 find 方法而不是 find_all。

Answer 1

您可以让 BeautifulSoup 仅查找具有现有 href 属性的链接。 测试

您可以通过两种常见方式来完成此操作，即通过 find_all():

link_list = [a['href'] for a in soup.find_all('a', href=True)]

或者，使用CSS selector :

link_list = [a['href'] for a in soup.select('a[href]')]