Python:grequest 和 request 给出不同的响应

Question

我的原始任务:使用 Trello API , 通过 HTTP GET 请求获取数据。如果可能，异步运行请求和处理响应。 API 提供程序使用我通过一些 key 和 token 访问的“https://”URL。

我使用的工具:

• Python 2.7.10 | python 2.3.0(64 位)| (默认，2015 年 5 月 28 日，16:44:52)Win32 上的 [MSC v.1500 64 位 (AMD64)]
• requests 库(只是无需安装即可导入)
• grequests 库(通过 pip 安装来自 this git repo )

原始任务结果: 只有 requests 库有效，我得到了 Trello API 的响应，太棒了。 grequests 库失败，status_code = 302。

我试图理解为什么会发生这种情况，并编写了两个可重现的脚本。

脚本 A:请求 使用的库:

import requests

urls = [
    "https://www.google.com",
    "https://www.facebook.com/",
    "http://www.facebook.com/",
    "http://www.google.com",
    "http://fakedomain/",
    "http://python-tablib.org"
]

# Run requests:
for url in urls:
    print requests.get(url).status_code

控制台输出 A(由于 http://fakedomain/ 而有一些异常):

200
200
200
200
Traceback (most recent call last):
  File "req.py", line 14, in <module>
    print requests.get(url).status_code
  File "D:\python\lib\site-packages\requests\api.py", line 69, in get
    return request('get', url, params=params, **kwargs)
  File "D:\python\lib\site-packages\requests\api.py", line 50, in request
    response = session.request(method=method, url=url, **kwargs)
  File "D:\python\lib\site-packages\requests\sessions.py", line 465, in request
    resp = self.send(prep, **send_kwargs)
  File "D:\python\lib\site-packages\requests\sessions.py", line 573, in send
    r = adapter.send(request, **kwargs)
  File "D:\python\lib\site-packages\requests\adapters.py", line 415, in send
    raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', gaierror(11001, 'getaddrinfo failed'))

脚本 B:grequests 库与 map 一起用于发送异步请求:

import grequests

# This function will execute set of instructions when responses come:
def proc_response(response, **kwargs):
    # do something ..
    print response

# Request exception handler:
def my_except_handler(request, excetion):
    print "Request failed : " + request.url

urls = [
    "https://www.google.com",
    "https://www.facebook.com/",
    "http://www.facebook.com/",
    "http://www.google.com",
    "http://fakedomain/",
    "http://python-tablib.org"
]
# Here is the list of tasks we build and run in parallel later:
actions_list = []

# Tasks list building:
for url in urls:
    action_item = grequests.get(url, hooks = {'response' : proc_response})
    actions_list.append(action_item)

# Run grequests:
print grequests.map(actions_list, exception_handler=my_except_handler)

控制台输出 B:

<Response [302]>
<Response [302]>
<Response [200]>
<Response [301]>
<Response [302]>
<Response [200]>
Request failed : https://www.google.com
Request failed : https://www.facebook.com/
Request failed : http://www.facebook.com/
Request failed : http://fakedomain/
[None, None, None, <Response [200]>, None, <Response [200]>]

根据这些信息和我相对较少的经验，我可以得出的结论如下 - 由于某些原因 grequests 被远程网站拒绝 requests 正常工作。只要 302 意味着某种重定向，似乎 grequests 就无法从它被重定向到的源获取数据，而 requests 可以。脚本 B 中 get 方法中的 allow_redirects=True 没有解决问题。

我想知道为什么图书馆会给出不同的回应。有可能我遗漏了什么，这两个脚本必须按设计返回不同的结果，而不是因为两个库之间的差异。

提前感谢您的帮助。

Answer 1

grequests 很适合我

这是我的脚本 b.py，我通过 $ py.test -sv b.py 运行它:

import pytest
import grequests


@pytest.fixture
def urls():
    return [
        "https://www.google.com",
        "https://www.facebook.com/",
        "http://www.facebook.com/",
        "http://www.google.com",
        "http://fakedomain/",
        "http://python-tablib.org"
    ]


# This function will execute set of instructions when responses come:
def proc_response(response, **kwargs):
    # do something ..
    print "========Processing response=============", response.request.url
    print response
    if response.status_code != 200:
        print response.request.url
        print response.content


# Request exception handler:
def my_except_handler(request, exception):
    print "Request failed : " + request.url
    print request.response


def test_it(urls):
    # Here is the list of tasks we build and run in parallel later:
    actions_list = []

    # Tasks list building:
    for url in urls:
        action_item = grequests.get(url, hooks={'response': proc_response})
        actions_list.append(action_item)

    # Run grequests:
    print grequests.map(actions_list, exception_handler=my_except_handler)

它基于您的代码，重写只是为了方便我的实验。

结果:最终结果为200或无

我测试的最后打印输出显示:

[<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, None, <Response [200]>]

这是预期的。

请注意，您在获取数据时可能会遇到一些临时问题，玩家太多参与。

结论:不同的响应处理让你困惑

区别在于，requests 是请求最终结果，而 grequests 是请求最终结果部署 process_response Hook ，为每个响应调用它，包括重定向响应。

请求 处理也通过重定向，但不会报告此临时响应。