python - 使用 beautifulsoup 抓取数据结果为 404

Question

我想从以下网址抓取数据http://www.transfermarkt.co.uk/wettbewerbe/europa

我通常使用 BeautifulSoup 来完成这样的工作。但这一次，我收到了404错误，但我不知道为什么，因为我可以通过浏览器访问该页面。

这是我的代码:

    url = 'http://www.transfermarkt.co.uk/wettbewerbe/europa'
    response = urllib.request.urlopen(url)
    soup = BeautifulSoup(response)
    print(soup)

我收到此错误:第 2 行urllib.error.HTTPError: HTTP Error 404: Not Found。

有什么想法为什么会发生这种情况吗？

Answer 1

import requests, bs4
url = 'http://www.transfermarkt.co.uk/wettbewerbe/europa'
headers = {"User-Agent":"Mozilla/5.0"}
response = requests.get(url, headers=headers)
soup = bs4.BeautifulSoup(response.text, 'lxml')
print(soup)

将User-Agent添加到请求头，我使用requests库，你可以使用urllib做同样的事情