- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我使用以下代码来增加请求的池最大大小:
import requests
session = requests.Session()
session.mount("https://", requests.adapters.HTTPAdapter(pool_maxsize=50))
session.mount("http://", requests.adapters.HTTPAdapter(pool_maxsize=50))
设置pool_maxsize=1000
有缺点吗?
我有时需要 50 - 1000 个连接,但大多数时候我只需要 1 个连接。
或者,有没有办法允许动态调整池大小?
哪种解决方案最好:
pool_maxsize = 1000
pool_maxsize = 1
,另一个使用 pool_maxsize=1000
。速度至关重要!
编辑:大多数时候我都在做正常的请求:
session.get(....)
但有时我使用 asyncio 时会有大量请求需要执行:
import asyncio
async def perform_async_calls(self, session, urls):
loop = asyncio.get_event_loop()
futures = []
for url in urls:
futures.append(loop.run_in_executor(None, session.get, url)
results = []
for future in futures:
result = await future
results.append(result.json())
return results
最佳答案
在 HTTP 1.1 中,客户端可以通过设置 Keep-Alive header 通过同一连接发送多个请求。否则,您将必须为每个请求打开一个新连接。设置 Keep-Alive 后,可以通过同一连接发送多个请求。
打开连接非常耗时,因为在发出下一个请求之前需要进行额外的 TCP 握手往返,因此重用现有连接会更快。
连接池的作用是,在您发出请求后,该连接将在池中保留,以供您可能发出的后续请求保持打开状态。请求设置保持事件 header 并在幕后管理池,因此您通常不需要担心它。
如果您使用多线程,池会同步对连接的访问,以便每个连接一次仅由一个线程使用。让多个线程同时发出请求需要池中有多个连接。
拥有比线程更多的连接根本不会提高性能太多,因为请求包在发出请求时会阻塞线程,因此一个线程不可能一次使用多个连接。要从额外连接中获得更多性能,需要增加线程数量。
像这样添加连接仅在您不受网络速度瓶颈时才有帮助,打开更多连接并不会使互联网更快。因此,只需添加更多线程+连接,直到性能停止增加。
我不确定你所说的动态调整大小是什么意思。池在需要时打开新连接,并在可能时重用旧连接。一旦达到最大值,它就会停止打开连接。从某种意义上说,只要池大小低于最大大小,池大小就是动态的。
关于python - 请求/异步: Is there a drawback for making pool_maxsize=1000 with a Python requests session?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56228235/
这两个句子有什么区别: res = requests.request('POST', url) 和 res = requests.request.post(url) 最佳答案 它们几乎是一样的:htt
我正在使用“请求对话框”来创建 Facebook 请求。为了让用户收到请求,我需要使用图形 API 访问 Request 对象。我已经尝试了大多数看起来合适的权限设置(read_requests 和
urllib.request和http.client都是python标准库。前者相关方法的文档是 here后者,here (我使用的是3.5) 有谁知道为什么标准库中有两种方法看起来做同样的事情,或者
我是 Twisted 的新手,我不明白为什么在运行我的脚本时会出现此错误。\ 基本上,该脚本由 2 个页面组成,第一个页面是一个 HTML 表单,它调用自身执行一个阻塞方法并显示结果。当请求同时发送到
我有一个客户端 JS 文件,其中包含: agent = require('superagent'); request = agent.get(url); 然后我有类似的东西 request.get(u
提前输入功能可以正常工作。但问题是,提前输入功能会在每个数据请求上发出 JSON 请求,而实际上只应针对一个特定请求发生。 我有以下 Controller : #controllers/agencie
我正在使用 Rust 开发一个小型 API,我不确定如何在两个地方访问来自 Iron 的 Request。 Authentication 中间件为 token 读取一次Request,如果路径被允许(
问题起因 今天一位网友向我们反馈,用Chrome打开某些博客文章时,会出现"Bad Request - Request Too Long. HTTP Error 400. The siz
当我从 LinkedIn 向 https://api.linkedin.com/uas/oauth/requestToken 请求请求 token 时,出现以下错误: oauth_problem=si
我只是想使用 okhttp 下载一些字节数据,但在我完成代码之前,我遇到了一个问题,android studio 报告了一个错误,说“Request(okhttp3.Request.Builder)
我正在使用 Windows 10。我想在我的系统上使用 Angular 4。当我运行 node -v 和 npm -v 时,它会显示版本。但是当我执行语句 npm install -g @angula
我正在尝试让一个简单的 Iron 示例起作用: extern crate iron; extern crate router; use iron::prelude::*; use iron::stat
我正在尝试使用嵌套字典“动态”创建一个数据输入表单(目前,我使用具有 3 个值的数组,但将来数组中的元素数量可能会有所不同)。这似乎工作正常,并且表单“正确”渲染了 html 模板(正确 = 我看到了
从 ASP.NET 中的代码隐藏访问表单或查询字符串值时,使用的优缺点是什么,例如: // short way string p = Request["param"]; 代替: // long way
我遇到了一个问题,我想知道更好的解决方法。 有五个 api 请求并行运行,第二个请求依赖于第四个请求的响应,但所有 5 个请求都已在运行。什么是更好的方法? 需要建议。提前致谢。 最佳答案 调度地面工
我收到以下错误:TypeError:序列项 0:预期字节、字节数组或具有缓冲区接口(interface)的对象、找到元组 我检查了Python文档,urllib.request.Request的参数似
当我向函数添加超时参数时,我的代码总是进入异常并打印出“我失败了”。当我删除超时参数时,代码会正常工作,并进入 try 子句。关于超时参数如何在 urllib.request 函数中工作的任何信息?
我使用 cURL 向服务器发送请求这是链接:Server Side script for cURL request我用 file_get_contents('php://input'); 读取发送的数
请大家帮帮我我正在尝试使用 NUTCH 抓取网站,但它给我错误“java.io.IOException: Job failed!” 我正在运行此命令“bin/nutch solrindex http:
在我的 AngularJS 应用程序中,我无法弄清楚如何对 then promise 的执行更改 location.url 进行单元测试。我有一个函数,登录 ,调用服务,身份验证服务 .它返回 pro
我是一名优秀的程序员,十分优秀!