python - 使用 python 请求的一个连接请求某个站点上的多个页面

Question

我想解析一个站点的多个(大约 180)页面。在 python 中我这样做:

def myFunc(pages):
forreturn=[]
session=requests.session()
for page in pages:    #List, containing page addresses
    url = 'http://example.com/' + page 
    # we get something like 'http://example.com/sub1/page.html'
    # Ant the part with "sub1" is different each time.
    answer = session.get(url)
    soup=Soup(answer.text)
    # There we parse needed string and append it to "forreturn" list
return forreturn

据我了解，当这样做时，当请求新页面时，我会打开一个与服务器的新连接。那么有没有一种方法可以仅使用一个连接来获取所有这些页面？

(正如我认为的那样，它可能会提高响应时间并且服务器压力会降低)

Answer 1

1. 在 HTTP 1.0 下，您可以更明确地执行此操作。

   session.get(url, headers={'Connection': 'Keep-Alive'})

2. 在 HTTP 1.1 中，除非另有声明，否则所有连接都被视为持久连接。

3. 正如 @FlorianLudwig 在 http://docs.python-requests.org/en/latest/user/advanced/#keep-alive 中提到的那样“在 session 中保持事件状态是 100% 自动的”