python-2.7 - 使用 Beautiful Soup 计算请求页面上的链接

Question

这应该相当简单。我想计算通过网页搜索创建的链接。在这个例子中，search Stack Overflow 上的“gwen stefani”。截至撰写本文时，结果数为 15。

import bs4 #  beautiful soup 4
import requests
import webbrowser

url = "https://stackoverflow.com/search?q=gwen+stefani"

myURL = url
webbrowser.open(myURL)

page = requests.get(url).text
r = requests.get(myURL)
html_content = r.text

soup = bs4.BeautifulSoup(html_content, "html.parser")

print soup.title

for link in soup.find_all("a"):
    print(link.get("href"))

当链接被打印出来时，它不包含任何提到的结果。我是汤的新手，现在我不确定我哪里出错了。

Answer 1

我使用的是 python 3.x，因此您可能需要为此进行调整，但我获得了所有 15 个链接。

from bs4 import BeautifulSoup
import requests

url = 'https://stackoverflow.com/search?q=gwen+stefani'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'hmtl.parser')
for link in soup.findAll('div', class_='result-link'):
    print('https://stackoverflow.com'+link.a['href'])