python - 无法在 Python 中获取重定向的 URL。尝试使用 requests、urllib、urllib2 和 mechanize

Question

我有一个巨大的 URL 列表，它们重定向到不同的 URL。我从列表中的 for 循环中提供它们，并尝试打印重定向的 URL

第一个重定向的 URL 打印正常。但从第二个开始 - requests 只是停止给我重定向的 URL，并且只打印给定的 URL

我尝试使用 urllib、urllib2 和 mechanize 实现。

他们给出第一个重定向的 url，然后在第二个重定向的 url 处抛出错误并停止。

谁能告诉我为什么会发生这种情况吗？

下面是伪代码/实现:

for given_url in url_list:
    print ("Given URL: " + given_url)
    s = requests.Session()
    r = requests.get(given_url, allow_redirects=True)
    redirected_url = r.url
    print ("Redirected URL: " + redirected_url)

输出:

Given URL: www.xyz.com 
Redirected URL: www.123456789.com 
Given URL: www.abc.com 
Redirected URL: www.abc.com 
Given URL: www.pqr.com 
Redirected URL: www.pqr.com 

Answer 1

尝试 HEAD 请求，它不会遵循重定向或下载整个正文:

r = requests.head('http://www.google.com/')
print r.headers['Location']