python - 无论如何要抓取重定向的链接？

Question

无论如何，我可以让 python 单击一个链接，例如 bit.ly 链接，然后抓取生成的链接吗？当我抓取某个页面时，我唯一可以抓取的链接是重定向的链接，它重定向到的地方就是我需要的信息所在的位置。

Answer 1

重定向有3种类型

• HTTP - 作为响应 header 中的信息(代码为 301、302、3xx)
• HTML - 作为标签 <meta>在 HTML 中(维基百科:Meta refresh)
• JavaScript - 像 window.location = new_url 这样的代码

requests执行 HTTP重定向并将所有网址保留在 r.history 中

import requests

r = requests.get('http://' + 'bit.ly/english-4-it')

print(r.history)
print(r.url)

结果:

[<Response [301]>, <Response [301]>]
http://helion.pl/ksiazki/english-4-it-praktyczny-kurs-jezyka-angielskiego-dla-specjalistow-it-i-nie-tylko-beata-blaszczyk,anginf.htm

---

顺便说一句:所以不允许在文本中放置位链接，所以我使用了连接。