python - 我如何使用 BeautifulSoup 从具有保护的重定向网站获取 html 内容？

Question

我在尝试从网页获取 html 内容时遇到问题。

在此网站中:https://tmofans.com/library/manga/5763/nisekoi当您单击“Capitulo 230.00”中的考试播放图标时，它会打开下一个链接:https://tmofans.com/goto/347231将您重定向到此网站:https://tmofans.com/viewer/5c187dcea0240/paginated

问题是当您直接打开此链接时:https://tmofans.com/goto/347231该页面给出了 403 Forbidden 的消息。重定向到最终页面的唯一方法是单击第一页的播放按钮。

我只想使用 tmofans.com/goto 链接获取最终 url 内容

我尝试使用请求和 BeautifulSoup 获取 html 内容

import requests
from BeautifulSoup import BeautifulSoup

response = requests.get("https://tmofans.com/goto/347231") 
page = str(BeautifulSoup(response.content))

print page

当我使用 https://tmofans.com/goto/347231 执行此操作时我只得到403 Forbidden page的内容。

Answer 1

该网站会检查您是否有来自他们网站的引荐来源网址，否则会给您 403 响应。您可以通过设置引荐来源网址轻松绕过此问题。

import requests
ref='https://tmofans.com'
headers = { 'Referer': ref }
r = requests.get('https://tmofans.com/goto/347231',headers=headers)
print(r.url)
print(r.status_code)

输出

https://tmofans.com/viewer/5c187dcea0240/paginated
200