python - 通过带有有效用户代理的 urllib.request 的 urlopen 返回 405 错误

Question

我的问题是关于python 3中的urllib模块，下面这段代码

import urllib.request
import urllib.parse

url = "https://google.com/search?q=stackoverflow"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'}

try:
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.request.urlopen(req)
    file = open('googlesearch.txt.', 'w')
    file.write(str(resp.read()))
    file.close()

except Exception as e:
    print(str(e))

按我的预期工作，并将谷歌搜索“stackoverflow”的内容写入文件中。我们需要设置一个有效的 User-Agent，否则 google 不允许请求并返回 405 Invalid Method 错误。

我想到了下面这段代码

import urllib.request
import urllib.parse

url = "https://google.com/search"
values = {'q': 'stackoverflow'}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'}

data = urllib.parse.urlencode(values)
data = data.encode('utf-8')

try:
    req = urllib.request.Request(url, data=data, headers=headers)
    resp = urllib.request.urlopen(req)
    file = open('googlesearch.txt.', 'w')
    file.write(str(resp.read()))
    file.close()

except Exception as e:
    print(str(e))

应该产生与第一个相同的输出，因为它是具有相同用户代理的相同谷歌搜索。但是，这段代码抛出异常并显示消息:“HTTP 错误 405:不允许使用方法”。

我的问题是:第二段代码有什么问题？为什么它不会产生与第一个相同的输出？

Answer 1

您收到 405 响应是因为您发送的是 POST 请求而不是 GET 请求。 Method not allowed 不应与您的用户代理 header 有任何关系。这是关于使用不正确的方法(get、post、put、head、options、patch、delete)发送 http 请求。

Urllib 发送一个 POST，因为您在 Request 构造函数中包含了 data 参数，如下所示:

https://docs.python.org/3/library/urllib.request.html#urllib.request.Request

method should be a string that indicates the HTTP request method that will be used (e.g. 'HEAD'). If provided, its value is stored in the method attribute and is used by get_method(). The default is 'GET' if data is None or 'POST' otherwise.

强烈建议使用 requests 库而不是 urllib，因为它有一个更明智的 api。

import requests
response = requests.get('https://google.com/search', {'q': 'stackoverflow'})
response.raise_for_status()  # raise exception if status code is 4xx or 5xx
with open('googlesearch.txt', 'w') as fp:
    fp.write(response.text) 

https://github.com/requests/requests