python - Asyncio 中的请求 - 关键字参数

Question

我正在使用 asyncio 和 requests 模块来发出异步 HTTP 请求。

我可以像这样发出 GET 请求:

@asyncio.coroutine
def do_checks():
    loop = asyncio.get_event_loop()
    req = loop.run_in_executor(None, requests.get, 'https://api.github.com/user')
    resp = yield from req
    print(resp.status_code)
loop = asyncio.get_event_loop()
loop.run_until_complete(do_checks())

但是，我需要在请求中支持基本 HTTP 身份验证(described here)。

根据文档，url 和 auth 都是 requests.get() 的命名参数。

但是，如果我运行它(注意添加了 url='' 和 auth = ''):

@asyncio.coroutine
def do_checks():
    loop = asyncio.get_event_loop()
    req = loop.run_in_executor(None, requests.get, url='https://api.github.com/user', auth=HTTPBasicAuth('user', 'pass'))
    resp = yield from req
    print(resp.status_code)
loop = asyncio.get_event_loop()
loop.run_until_complete(do_checks())

我收到这个错误:

TypeError: run_in_executor() got an unexpected keyword argument 'url'

在 asyncio.run_in_executor() 的原型(prototype)中，支持额外的参数:

BaseEventLoop.run_in_executor(executor, callback, *args)

requests.get() 显然支持命名参数(get、auth 等)。怎么了？

Answer 1

有两种方法可以做到这一点。创建包装器函数，或仅使用 session 来提供身份验证。

使用 session :

@asyncio.coroutine
def do_checks():
    loop = asyncio.get_event_loop()
    session = requests.Session()
    session.auth = HTTPBasicAuth('user', 'pass')
    req = loop.run_in_executor(None, session.get, 'https://api.github.com/user')
    resp = yield from req
    print(resp.status_code)

编写包装器函数(请注意，为了清楚起见，我在这里使用 def，但 lambda 显然也可以工作):

@asyncio.coroutine
def do_checks():
    def do_req():
        return requests.get('https://api.github.com/user', auth=HTTPBasicAuth('user', 'pass'))
    loop = asyncio.get_event_loop()
    req = loop.run_in_executor(None, do_req)
    resp = yield from req
    print(resp.status_code)