python - 抓取 Google 搜索结果时出现空列表

Question

我正在尝试抓取 Google 搜索结果，但我得到的输出只是空列表。你知道这里出了什么问题吗？我在 Stack Overflow 上找到了类似的帖子，其中 solution说你应该尝试放置 user_agent。我尝试过，但仍然没有返回任何结果。如果您有任何想法，请分享。

import requests, webbrowser
from bs4 import BeautifulSoup

user_input = input("Enter something to search:")
print("googling.....")

google_search = requests.get("https://www.google.com/search?q="+user_input)
# print(google_search.text)

soup = BeautifulSoup(google_search.text , 'html.parser')
# print(soup.prettify())

search_results = soup.select('.r a')
# print(search_results)

for link in search_results[:5]:
    actual_link = link.get('href')
    print(actual_link)
    webbrowser.open('https://google.com/'+actual_link)

Answer 1

Google 会阻止您的请求并引发此错误当 Google 自动检测到来自您的计算机网络的请求似乎违反了 Terms of Service 时，就会出现此页面。 。这些请求停止后不久，该 block 就会过期。同时，解决上述验证码将让您继续使用我们的服务。

此流量可能是由恶意软件、浏览器插件或发送自动请求的脚本发送的。如果您共享网络连接，请向管理员寻求帮助 - 可能是使用相同 IP 地址的另一台计算机造成的。 Learn more

有时，如果您使用机器人已知使用的高级术语，或者非常快地发送请求，则可能会要求您解决验证码。。

尝试使用selenium + python来获取所有链接