- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
documentation concurrent.futures
的超时非常难以理解。在一个简单的例子中,我想通过在扫描作业函数列表的循环中调用 .submit
来使用 ProcessPoolExecutor
。我希望这些 Future
对象中的每一个都有 10 分钟的关联超时,否则它们将异步完成。
我的第一个方法是尝试使用 as_completed
函数,它生成 Future 对象的迭代器,并且仅在一个完成时生成下一个。 as_completed
接受一个 timeout
参数,但是文档说这个超时是相对于 as_completed
被调用的第一时刻而言的,而不一定是任何Future
对象本身。
例如假设 ProcessPoolExecutor
只有 3 个工作进程,但 Future
对象列表包含 10 个项目。在处理前 3 个项目时,其中 7 个项目可能处于未处理状态长达 10 分钟。此后不久,as_completed
的超时将被触发,导致失败,即使每个单独的 Future
可能已经达到了 10 分钟的限制。
请注意,适用于 as_completed
的相同限制也适用于 wait
并且 wait
更难用于此用例,因为它支持的返回选项有限。
我的下一个想法是使用 timeout
parameter that future.result
allows并为我的 future 列表中的每个 f
(Future)调用 f.result(timeout=600)
。但是,没有真正以阻塞方式要求结果的方式来设置此超时。如果您迭代 future 列表并调用 f.result(...)
,此调用会在指定的超时时间内阻塞。
另一方面,您也不能将 f.result
与 as_completed
组合在一起,以一种天真但看似正确的方式,如
[f.result(timeout=600) for f in as_completed(futures_list)]
... 因为 as_completed
的迭代在 futures 完成时欺骗性地异步等待,并且只返回它们以在 之后调用 .result
他们已经完成了。
鉴于此,生成 Future
列表的正确模式是什么,其中每个都有自己的超时时间,然后异步等待它们完成?
最佳答案
似乎没有办法在这种异步上下文中提供每个 Future 超时。可用的 API 函数 wait
和 as_completed
通过支持 Future
对象的可迭代中所有任务的全局超时来采取更简单的方法,并且不要尝试测量从 Future
第一次开始处于被处理状态的时间。
我选择了一种解决方法,将我的任务列表分成一组 block ,并对每个 block 使用 as_completed
。 block 大小设置为与我的 ProcessPoolExecutor
配置使用的工作人员数量相同,这样我就可以确定 as_completed
的“全局”超时由于所有任务都立即主动处理,因此 secret 地充当了每个 future 的超时。缺点是利用率较低,因为当任务提早完成时,进程池不能空闲以获取下一个 Future 任务;它必须等待整个下一批任务。对我来说这没问题,但它是我必须选择的 concurrent.futures
的重大可用性缺陷。
这是一些示例代码。假设 my_task_list
已经包含通过 functools.partial
或其他方式绑定(bind)的部分或全部必需参数的函数。您可以修改它,以便在元组或字典的单独迭代中提供参数,并根据需要传递到 submit
。
my_task_list = #... define your list of task functions
num_workers = #... set number of workers
my_timeout = #... define your timeout
with ProcessPoolExecutor(max_workers=num_workers) as pool:
all_results = []
for chunk_start in range(0, len(my_task_list), num_workers):
chunk = my_task_list[chunk_start:chunk_start + num_workers]
# could extract parameters to pass for this task chunk here.
futures = [pool.submit(task) for task in chunk]
all_results += [
f.result() for f in as_completed(futures, timeout=my_timeout)
]
return all_results
请注意,如果您选择的 num_workers
大于 ProcessPoolExecutor
可用的处理器数量,您最终会得到比给定 block 中的处理器更多的任务并返回对于 as_completed
的超时不会正确应用于每个任务的运行时的情况,可能会导致与仅使用 as_completed
或 wait
在没有分块的整体任务列表上。
关于python - 如何确保 concurrent.futures 迭代器中每个 Future 的超时?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60951208/
我有以下对象: dog = { location: { x: 52.1089, y: 16.2323 }, f: function(message) { alert
在 TSQL 中,如果我要搜索有效的 .com 电子邮件地址,我需要确保有一个 @ 符号,它以 .com 结尾,并且在 @ 前后至少有一个字符。 SELECT * FROM CUSTOMER WHER
我正在尝试准备一个信用卡交易列表,以便在 Excel 2010 中进行透视和进一步分析(满足个人需求)。问题是我的银行机构没有遵循标准的日期格式,所以有时日期会显示为 Jun. 1, 2013 , 有
看来您不能在 riak 中进行交易。如何确保数据正确? 假设我们要插入评论。在 redis 我会做 commentId=incr commentCount multi SET comment_post
对于下面给定的模式,是否可以确保至少一个属性包含一个值(即 minLength 为 1): { "$schema": "http://json-schema.org/draft-04/sche
我计划在 Haxe 的一个子集中编写 Haxe 库,这些库将编译为每种 Haxe 目标语言。有什么方法可以验证 Haxe 程序是否可以编译为所有目标语言,是否可以在不手动测试每个目标平台上的编译代码的
如果浏览器窗口未聚焦,则当前页面上的所有 webdriver 标识都失败。 如何使用 webdriver 使浏览器成为焦点? 最佳答案 ((JavascriptExecutor) webDriver)
我从这样的 HTML GET 请求中获取图像链接... www.example.com?image=www.anotherdomain.com/image.jpg if (isset($_GET['i
我有一个 eunit 测试,它生成一个唯一的节点名称并开始分发: {A,B,C} = now(), Nodename = list_to_atom(lists:flatten(io_lib:forma
我正在完成我的 iPhone 应用程序。我只是担心我们的网络服务器级别的安全性。数据通过网络服务被传送到 iPhone 应用程序。 我可以在网络服务上采取哪些安全措施,以免受到攻击? 谢谢 最佳答案
我正在编写一个应用程序,该应用程序启动一个运行简单 Web 服务器的子进程。我正在使用 NSTask 并通过管道与其进行通信,一切看起来或多或少都很好。但是,如果我的程序崩溃,子进程将保持事件状态,并
我有一些应用程序,我调用 ShowMessage('Complete!');在长时间操作结束时。 大多数时候,这效果很好,但每隔一段时间,消息对话框就会显示在主窗体后面。 有什么方法可以确保 Show
我通过将消息插入集合并让模板使用 {{#each}} 打印出集合来创建一个简单的聊天。 我不太熟悉安全性,但是有没有办法让它符合 EFF 规定? https://www.eff.org/secure-
我有一个商店,我想在其中正确管理 id。假设我有以下帖子存储: type Post = { id: number; title: string; body?: string; } type
我有一个使用 ajax post 方法和数据表的程序。经过几周的摆弄,我确定我根本不明白 javascript 是如何工作的。这是我的 JavaScript: $('#SaveTimeSheet').
我有一个系统,如果从 Azure 服务总线丢失消息将是一场灾难,也就是说,数据将永远丢失,并且没有实际方法可以在不造成重大中断的情况下修复损坏。 在这种情况下我可以完全依赖 ASB 吗? (即使它
如何确保 scalatest 测试不会并行运行?在 0.12 之前,我有一个 sbt 设置: parallelExecution in Test := false 新版本引入了一些复杂的机制。这种更简
我的端点有两个如下所示的 promise : request.post({ url: url, json: smsSTART, header
简短版本 当 ui-router 转换到新 View 时(以我不完全理解的方式使用 ngAnimate),它会添加类 ng-leave 和 ng-leave-active 到当前 View 。它还将类
目前正在努力寻找验证 2 个表的方法(有效地验证表 A 的大量行) 我有两张 table 表A ID A B C 表格匹配 ID Number A 1 A 2 A 9 B 1
我是一名优秀的程序员,十分优秀!