python - urllib2 给出 HTTP 错误 400 : Bad Request for certain urls, 对其他人有效

Question

我正在尝试使用 Python 的 urllib2 模块执行一个简单的 HTTP get 请求。它有时有效，但有时我会收到 HTTP Error 400: Bad Request。我知道这不是 URL 的问题，因为如果我使用 urllib 并简单地执行 urllib.urlopen(url) 它工作正常 - 但是当我添加标题并执行 urllib2.urlopen() 我在某些网站上收到错误请求。

这是不起作用的代码:

# -*- coding: utf-8 -*-
import re,sys,urllib,urllib2

url = "http://www.gamestop.com/"

headers = {'User-Agent:':'Mozilla/5.0'}

req = urllib2.Request(url,None,headers)
response = urllib2.urlopen(req,None)
html1 = response.read()

(gamestop.com 是无效 URL 的示例)

一些不同的站点可以工作，有些则不能，所以我不确定我在这里做错了什么。我错过了一些重要的标题吗？请求不正确？使用错误的用户代理？ (我也尝试使用我浏览器的确切用户代理，但没有解决任何问题)

谢谢!

Answer 1

您的 header 中多了一个冒号。

headers = { 'User-Agent:': 'Mozilla/5.0' }

应该是:

headers = { 'User-Agent': 'Mozilla/5.0' }