- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我有多个应该同时运行的协同程序,其中一些可能会抛出异常。在这些情况下,协程应该再次运行。我该如何做到这一点?我正在尝试做的最小演示:
import asyncio
import time
t = time.time()
async def c1():
print("finished c1 {}".format(time.time() - t))
async def c2():
await asyncio.sleep(3)
print("finished c2 {}".format(time.time() - t))
called = False
async def c3():
global called
# raises an exception the first time it's called
if not called:
called = True
raise RuntimeError("c3 called the first time")
print("finished c3 {}".format(time.time() - t))
async def run():
pending = {c1(), c2(), c3()}
num_times_called = 0
while pending:
num_times_called += 1
print("{} times called with {} pending tasks: {}".format(num_times_called, len(pending), pending))
finished, pending = await asyncio.wait(pending, return_when=asyncio.FIRST_EXCEPTION)
for task in finished:
if task.exception():
print("{} got an exception {}, retrying".format(task, task.exception()))
pending.add(task)
print("finished {}".format(finished))
print("finished all {}".format(time.time() - t))
asyncio.get_event_loop().run_until_complete(run())
c3()
表示某些协程将失败并需要重新运行。演示的问题是已完成的任务已完成并设置了异常,因此当我将其放回待定集时,下一个运行循环会立即退出而不会重新运行 c3()
因为它已经完成了。
有没有办法清除任务以便它运行c3()
再次?我知道附加到任务的协程实例不能再等待,否则我得到
RuntimeError('cannot reuse already awaited coroutine',)
这意味着我必须手动管理从协程实例到生成它的协程的映射,然后使用 task._coro
检索失败的协程实例- 这样对吗?
最佳答案
编辑:任务本身可能是 map 中的关键,这样更清晰。
async def run():
tasks = {asyncio.ensure_future(c()): c for c in (c1, c2, c3)}
pending = set(tasks.keys())
num_times_called = 0
while pending:
num_times_called += 1
print("{} times called with {} pending tasks: {}".format(num_times_called, len(pending), pending))
finished, pending = await asyncio.wait(pending, return_when=asyncio.FIRST_EXCEPTION)
for task in finished:
if task.exception():
print("{} got an exception {}, retrying".format(task, task.exception()))
coro = tasks[task]
new_task = asyncio.ensure_future(coro())
tasks[new_task] = coro
pending.add(new_task)
print("finished {}".format(finished))
print("finished all {}".format(time.time() - t))
关于python - 使用 asyncio.wait 在任务异常后重试任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51679615/
我正在我的一个项目中使用 aiohttp 并想限制每秒发出的请求数。我正在使用 asyncio.Semaphore 来做到这一点。我的挑战是我可能想要增加/减少每秒允许的请求数。 例如: limit
如何混合 async with api.open() as o: ... 和 o = await api.open() 在一个功能中? 自从第一次需要带有 __aenter__ 的对象以来和
有 2 个工作:“wash_clothes”(job1) 和“setup_cleaning_robot”(job2),每个工作需要你 7 和 3 秒,你必须做到世界末日。 这是我的代码: import
我们有一种设置线程名称的方法:thread = threading.Thread(name='Very important thread', target=foo),然后在格式化程序中使用 %(thr
我有一些代码,用于抓取 URL、解析信息,然后使用 SQLAlchemy 将其放入数据库中。我尝试异步执行此操作,同时限制同时请求的最大数量。 这是我的代码: async def get_url(ai
1>Python Asyncio 未使用 asyncio.run_coroutine_threadsafe 运行新的协程。下面是在Mac上进行的代码测试。 ——————————————————————
asyncio.gather和 asyncio.wait似乎有类似的用途:我有一堆我想要执行/等待的异步事情(不一定要在下一个开始之前等待一个完成)。它们使用不同的语法,并且在某些细节上有所不同,但对
我正在尝试使用 asyncio 运行以下程序: import asyncio async def main(): print('Hello') await asyncio.sleep(
我正在尝试在事件循环之外使用协程函数。 (在这种情况下,我想在 Django 中调用一个也可以在事件循环中使用的函数) 如果不使调用函数成为协程,似乎没有办法做到这一点。 我意识到 Django 是为
我有一个假设 asyncio.gather设想: await asyncio.gather( cor1, [cor2, cor3], cor4, ) 我要 cor2和 cor3
我有多个服务器,每个服务器都是 asyncio.start_server 返回的实例。我需要我的 web_server 与 websockets 一起使用,以便能够使用我的 javascript 客户
我正在使用 Python 3 asyncio 框架评估定期执行的不同模式(为简洁起见省略了实际 sleep /延迟),我有两段代码表现不同,我无法解释原因。第一个版本使用 yield from 递归调
从事件线程外部将协程推送到事件线程的 pythonic 方法是什么? 最佳答案 更新信息: 从Python 3.7 高级函数asyncio.create_task(coro)开始was added并且
我有一个大型 (1M) 数据库结果集,我想为其每一行调用一个 REST API。 API 可以接受批处理请求,但我不确定如何分割 rows 生成器,以便每个任务处理一个行列表,比如 10。我宁愿不预先
迷失在异步中。 我同时在学习Kivy和asyncio,卡在了解决运行Kivy和运行asyncio循环的问题上,无论怎么转,都是阻塞调用,需要顺序执行(好吧,我希望我是错的),例如 loop = asy
我有这个 3.6 异步代码: async def send(command,userPath,token): async with websockets.connect('wss://127.
首先,我需要警告你:我是 asyncio 的新手,而且我是 我马上警告你,我是 asyncio 的新手,我很难想象引擎盖下的库里有什么。 这是我的代码: import asyncio semaphor
我有一个asyncio.PriorityQueue,用作网络爬虫的URL队列,当我调用url_queue.get时,得分最低的URL首先从队列中删除()。当队列达到 maxsize 项时,默认行为是阻
探索 Python 3.4.0 的 asyncio 模块,我试图创建一个类,其中包含从类外部的 event_loop 调用的 asyncio.coroutine 方法。 我的工作代码如下。 impor
我有一个可能是无用的问题,但尽管如此,我还是觉得我错过了一些对于理解 asyncio 的工作方式可能很重要的东西。 我刚刚开始熟悉 asyncio 并编写了这段非常基本的代码: import asyn
我是一名优秀的程序员,十分优秀!