python - 使用 grequests 发布和获取

Question

我正在使用 grequests 来更快地对网站进行 scape。但是，我还需要登录该网站。

之前(只使用请求)我可以做:

headers 是我的 User-Agent。

with requests.Session() as s: 
    s.headers.update(headers)
    s.post(loginURL, files = data)
    s.get(scrapeURL)

使用 grequests 我只能通过以下方式传递 headers:

rs = (grequests.get(u, headers=header) for u in urls)
response = grequests.map(rs)

是否可以同时执行 POST 以便我可以登录？登录 URL 与我要删除的 URL 不同。

Answer 1

您可以传入与 headers 完全相同的 Session 对象:

with requests.Session() as s: 
    s.headers.update(headers)
    s.post(loginURL, files = data)
    s.get(scrapeURL)


    rs = (grequests.get(u, headers=header, session=s) for u in urls)
    response = grequests.map(rs)