- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我编写了一个基准实用程序来批量查询 REST 端点。它通过三种方式实现:
loop.run_in_executor()
包装每个请求,下面是不同批量大小的结果:
批量大小=16
concur_times seq_times concur_aiohttp_times
count 50.000000 50.000000 50.000000
mean 0.123786 0.235883 0.087843
std 0.009733 0.018039 0.029977
min 0.108682 0.210515 0.071560
25% 0.118666 0.222436 0.075565
50% 0.121978 0.231876 0.080050
75% 0.125740 0.242939 0.086345
max 0.169194 0.283809 0.267874
批量大小=4
concur_times seq_times concur_aiohttp_times
count 50.000000 50.000000 50.000000
mean 0.080764 0.091276 0.052807
std 0.008342 0.016509 0.033814
min 0.069541 0.078517 0.041993
25% 0.076142 0.082242 0.044563
50% 0.079046 0.085540 0.045735
75% 0.081645 0.092659 0.049428
max 0.111622 0.170785 0.281397
如结果所示,aiohttp 例程的并行性始终更高。更重要的是,对于小批量 (4),使用 loop.run_in_executor
(“concur_times”列)的第二种方法与顺序方法相比仅实现了 1/9 的加速。
这是为什么呢?我的代码有问题吗?我将其包括在下面。
我已经尝试将网络 IO 换成 sleep
和 asyncio.sleep
并且产生了方法 2 和 3 同样快且方法 1 为 batch_size 的预期结果倍慢。
代码:
import asyncio
import requests
from cytoolz.curried import *
import pandas as pd
from timeit import default_timer as now
url = 'https://jsonplaceholder.typicode.com/todos/'
def dl_todo_with_requests(session, n):
response = session.get(url + str(n))
assert(response.status_code == 200)
text = response.text
return text
dl_todo_with_requests = curry(dl_todo_with_requests)
def seq_dl(todos_to_get):
with requests.Session() as session:
todos = pipe(
todos_to_get,
map( dl_todo_with_requests(session) ),
list )
return todos
get_todos_from_futures = lambda futures: \
pipe( futures,
map( lambda fut: fut.result() ),
list
)
async def concur_dl(todos_to_get):
loop = asyncio.get_running_loop()
with requests.Session() as session:
completed_futures, _pending = await \
pipe(
todos_to_get,
map( lambda n:
loop.run_in_executor(
None,
lambda: dl_todo_with_requests(session, n)
)),
list,
asyncio.wait
);
todos = get_todos_from_futures(completed_futures)
return todos
import aiohttp
async def concur_dl_aiohttp(todos_to_get):
async def dl(session, todo):
async with session.get(url + str(todo)) as resp:
assert(resp.status == 200)
return resp.text()
dl = curry(dl)
async with aiohttp.ClientSession() as session:
loop = asyncio.get_running_loop()
unexecuted = pipe(
todos_to_get,
map( dl(session) ),
list )
completed_futures, _pending = await asyncio.wait(unexecuted)
todos = get_todos_from_futures(completed_futures)
return todos
def check_todos_received(todos):
assert(len(todos) == len(todos_to_get))
todo_has_content = lambda todo: len(todo) > len('{}')
assert(all(map(todo_has_content, todos)))
return True
def measure_it(f):
start = now();
f()
elapsed = now() - start
return elapsed
inspect = lambda f, it: map(do(f), it)
inspect = curry(inspect)
def bench(n_iters=50,batch_size=4):
todos_to_get = range(1,batch_size+1)
seq_dl(todos_to_get)
# heat caches, if any
measure_seq = lambda: pipe(
seq_dl(todos_to_get),
inspect(check_todos_received) )
measure_concur = lambda: pipe(
asyncio.run(concur_dl(todos_to_get)),
inspect(check_todos_received) )
measure_concur_aiohttp = lambda: pipe(
asyncio.run(concur_dl_aiohttp(todos_to_get)),
inspect(check_todos_received) )
do_the_bench = lambda dl_f, title: \
pipe( range(n_iters),
inspect(
lambda n: \
print("doing %s/%s %s batch download" \
% (n+1,n_iters,title))),
map(lambda _: measure_it(dl_f)),
list )
concur_times = do_the_bench(measure_concur,'concurrent')
concur_aiohttp_times = do_the_bench(measure_concur_aiohttp,'concurrent_aiohttp')
seq_times = do_the_bench(measure_seq,'sequential')
return dict(
concur_times=concur_times,
seq_times=seq_times,
concur_aiohttp_times=concur_aiohttp_times)
基准测试是这样运行的:bench(n_iters=50,batch_size=4)
。然后通过 lambda 输出传递输出:pandas.DataFrame(output).describe()
以生成表格。
最佳答案
asyncio 的 run_in_executor
的默认执行器是 ThreadPoolExecutor ,它使用 Python 线程。所以它也受到GIL的影响。 ,如 this 中所述线程。
在您的情况下,一次只有一个具有异步作业的线程运行,导致 aiohttp 显示出更好的性能。
关于python - 为什么 asyncio 的 run_in_executor 在发出 HTTP 请求时提供的并行度如此之低?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52769321/
我开发了一个具有基本安全性的 Spring Boot 应用程序。我有两个具有相同路径和不同 http 方法的端点。当我使用默认密码/使用 application.yml 中给出的密码包含基本安全性时,
我的代码是这样的: 或者,像这样: 如果我首先列出 webm 源,Firefox 4 会播放它,但 Firefox 3.6 也会尝试播放它(但会失败,因为它不支持 webm)。
我希望提供一个泛型类型作为类型参数而不首先将其解析为具体类型。换句话说,我正在寻找一种方法来指定从基类继承时可以使用的类型映射函数。 示例(不正确的)语法,希望比我能解释得更好: abstract c
我在 .NET 中编写了一些桌面应用程序,它们既提供了用于正常使用的前端 GUI,也提供了用于其他需求(例如扩展、调度、自动化、高级使用等)的命令行界面。命名两个可执行文件的最佳做法是什么,因为它们构
我最近在这里思考了很多关于屏幕抓取以及它可能是一项什么样的任务。所以我提出以下问题。 作为网站开发人员,您是否会公开简单的 API 以防止用户抓取屏幕,例如 JSON 结果? 然后这些结果可以实现缓存
我正在为一个项目使用 Dojo 1.9,但我不明白 dojo.provide 的正确替代方案与传统风格相比,AMD 风格。我正在阅读 this文档页面。 很明显,这就是旧语法映射到新语法的方式: 旧
我正在开发一个 Angular 应用程序。当我使用 ng serve 正常运行它时,它运行没有任何错误.但是,当我运行 ng build --prod ,它给出了以下错误。 ERROR in Ille
我有一个 Mac 应用程序。在我的 Mac 应用程序中,我的屏幕之一有一个包含文本字段的 scrollView。在同一屏幕上,我有一个需要提供打印选项的按钮。可以打印文本字段的文本。打印按钮应调用 M
我已经成功地为普通媒体文件提供媒体文件,但是当我尝试提供管理媒体文件时,我失败了。请帮我找出问题所在,因为我已经尝试解决问题几个小时但没有运气(也一直在谷歌搜索并阅读有关提供静态文件的 django
我正在尝试创建一个简单的错误处理项目,它会在收到错误(例如 404、422 或 500)后为 JSON 提供错误数据。我使用来自 this 的代码网站,但它不适合我。 我实际上有这两个类: 基本 Co
假设我有一个名为 Number 的类(class),我打算对 Number 进行大量相等比较对象。我担心通用 Number::equals(Object o) 的“开销”(类比较等...)方法。在这种
假定以下情况: 对等方A只希望将音频流发送给对等方B 对等B只希望将视频流发送给对等A 从而, 与创建报价 var sdpConstraints = { “必填”:{ 'OfferToReceiveA
因为我有一些角度,所以我想检查角度模数 360°: double angle = 0; double expectedAngle = 360; angle.Should().B
这是我的程序中构建的 monad 堆栈: type Px a = ReaderT PConf (State PState) a 其中 PConf 和 PState 是保存应用程序的配置和状态的任意数据
因为我有一些角度,所以我想检查角度模数 360°: double angle = 0; double expectedAngle = 360; angle.Should().B
我有一个小程序需要以某些权限运行,这意味着加载时会显示一条警告消息。如果用户拒绝警告消息,我想重定向到错误页面并解释发生了什么。有什么办法可以做到这一点吗? 我研究过让计时器运行并在特定时间段后重定向
从我可以从 Firebase 文档中推断出,似乎需要服务器来提供静态内容(html和 javascript),所以你需要有一台托管机器和一个静态内容服务器在某处启动并运行,或某些服务托管静态站点。 对
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 3 年前。 Improv
我的项目根目录的静态文件夹中有一个文本文件。 我想提供它,所以我创建了: @csrf_exempt def display_text(request): content = retur
我目前正在研究指针,为了进一步理解我正在尝试使用指针将两个数值数组连接成一个。代码如下所示。 #include void concat(int **pa,int **pb,int **pc) {
我是一名优秀的程序员,十分优秀!