- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
使用 Celery 构建一堆连续任务的最佳方法是什么?我的代码有一堆独立的任务(因此它们都可以是不可变的签名),但如果其中一个任务抛出异常,我想停止该序列。
我一直在寻找解决方案,但我陷入困境。我们使用 Celery 3.1.12 + RabbitMQ。
首先,我们使用和弦来表示标题任务成功,以便回调发生。它工作得很好,只是我们需要向标题添加更多任务。
所以我尝试在和弦中做一个链条。这也有效,但和弦因 PENDING 而挂起,因为当子任务引发异常时,链不会退出。
一个人为的例子:
@celery.task
def bite(food):
if food == 'salad':
raise TypeError('Throwing up. I hate {}'.format(food))
print "bite {}...".format(food)
return True
@celery.task
def chew(food):
print "chewing {}...".format(food)
return True
@celery.task
def swallow(food):
print "swallowing {}...".format(food)
return True
@celery.task
def chain_in_chord(food):
return chord(
chain(
bite.si(food), chew.si(food)
),
swallow.si(food)
).delay()
如果 food=salad,bite 子任务将抛出异常。链的其余部分不会发生 - 这就是我想要的。但整个和弦都卡在PENDING状态,因为链卡在PENDING状态,不会退出。
>>> res = foo.chain_in_chord('salad')
>>> res.status
'PENDING'
所以我需要:
在线搜索,链显然表现符合预期 - 因此您必须遍历 asyncResult 的每个父状态。我更喜欢一种机制,让整个事情中止并重新引发异常/跟踪......就像和弦一样,但可以选择添加多个子任务。
如有任何反馈,我们将不胜感激。谢谢。
最佳答案
最近有人指出Celery-tasktree 。尝试了一下,看起来很有希望。
上述任务(咬、咀嚼、吞咽)可以作为一个序列按顺序执行 - 将一个任务链接到另一个任务。也可以使用 vanilla Celery 来完成,但这里的语法看起来更干净。
def eat_tree(food):
tree = TaskTree()
bite_task = tree.add_task(bite, args=[food])
chew_task = bite_task.add_task(chew, args=[food])
swallow_task = chew_task.add_task(swallow, args=[food])
return tree.apply_async()
结果是:
>>> res = foo.eat_tree('steak')
>>> res
<TaskSetResult: 62c392ce-5ac2-4bd7-89f9-c1e004af1e56 [1b971232-2341-474b-897a-e5caab609eeb]>
>>> res.get()
[True]
>>> dir(res)
['__class__', '__delattr__', '__dict__', '__doc__', '__eq__', '__format__', '__getattribute__', '__getitem__', '__hash__', '__init__', '__iter__', '__len__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_args__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_failed_join_report', 'add', 'app', 'as_tuple', 'backend', 'children', 'clear', 'completed_count', 'delete', 'discard', 'failed', 'forget', 'get', 'id', 'iter_native', 'iterate', 'itersubtasks', 'join', 'join_native', 'maybe_reraise', 'parent', 'ready', 'remove', 'restore', 'results', 'revoke', 'save', 'serializable', 'subtasks', 'successful', 'supports_native_join', 'taskset_id', 'total', 'update', 'waiting']
>>> res.results[0]
<AsyncResult: 1b971232-2341-474b-897a-e5caab609eeb>
>>> res.results[0].status
u'SUCCESS'
>>> res.successful()
True
>>> res.taskset_id
'62c392ce-5ac2-4bd7-89f9-c1e004af1e56'
>>>
如果其中一个子任务要抛出异常,Tasktree 会抛出异常并将树标记为 FAILURE(这就是我想要的),而不是 PENDING(如常规 Celery 中那样)。
>>> res = foo.eat_tree('salad')
>>> res.get()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/paulchoi/env/isd-python/lib/python2.7/site-packages/celery/result.py", line 574, in get
interval=interval, callback=callback, no_ack=no_ack)
File "/Users/paulchoi/env/isd-python/lib/python2.7/site-packages/celery/result.py", line 687, in join_native
raise value
celery.backends.base.Exception: Throwing up. I hate salad
>>> res.successful()
False
>>> res.results[0].status
u'FAILURE'
>>>
关于django - Celery:构建顺序任务并获取正确的状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25226371/
我正在创建一个有效的突变,但我不确定它是否按照我认为的方式工作。但是,我想知道执行顺序是什么? 异步 从上到下同步 同步随机顺序 其他 我想确保在执行插入/更新插入之前从表中删除某些项目。使用以下突变
如何更改规则中的前提顺序? 例如,在伊莎贝尔的自然演绎规则中: mp: ?P ⟶ ?Q ⟹ ?P ⟹ ?Q 我们可以将顺序更改为: ?P ⟹ ?P ⟶ ?Q ⟹ ?Q 我可以用 rev_mp或者定义一
关闭。这个问题需要details or clarity .它目前不接受答案。 想改善这个问题吗?通过 editing this post 添加详细信息并澄清问题. 8年前关闭。 Improve thi
我正在使用 Hibernate 3.2,并使用标准来构建查询。我想为多对一关联添加和“排序”,但我不知道如何做到这一点。 Hibernate 查询最终看起来像这样,我猜: select t1.a, t
我正在开发一个项目,但无法让我的 javascript 按顺序工作。我知道 javascript 可以并行执行任务,因此当您向不响应的服务器发出请求时,它不会被卡住。这有它的优点和缺点。就我而言,这是
在下面的代码中,我认为f1 > f2 > f3是调用顺序,但是仅f1被调用。如何获得依次调用的3个函数? 我已经将以下内容添加到main函数中,它可以按预期工作,但是我想知道是否还有其他确定的方法可以
我有一个如下所示的对象数组: [{ "id": 1, "Size": 90, "Maturity": 24, }, { "id": 2, "S
这是征求意见和要求的请求。我是Docker的新手。 我想要一个用于Python项目的生产和开发容器(可能也进行单元测试)。我的搜索指向多阶段Dockerfile(以及运行它们的多个docker-com
我想知道解决以下问题的有效方法是什么: 假设我在组 1 中有三个字符,在组 2 中有两个字符: group_1 = c("X", "Y", "Z") group_2 = c("A", "B") 显然,
在 Cordova 网站上,您可以看到一长串按字母顺序排列的钩子(Hook)列表,但它们触发和执行的正确顺序是什么? 我正在尝试在构建/编译之前将 cordova.js 脚本添加到 index.htm
我想知道解决以下问题的有效方法是什么: 假设我在组 1 中有三个字符,在组 2 中有两个字符: group_1 = c("X", "Y", "Z") group_2 = c("A", "B") 显然,
这个问题已经有答案了: 奥 git _a (2 个回答) 已关闭 9 年前。 这是我的一个练习的代码, public class RockTest { public static void main(
我使用 HashMap 来存储一些数据,但每当新数据保存到 HashMap 或旧数据移出 HashMap 时,我都需要将其保持升序。但是hashmap本身不支持顺序,我可以使用什么数据结构来支持顺序?
我想创建一个序列,当星期几与函数参数中的日期相同时,它会返回所有年份的结果(例如:自开始日期起,2 月 12 日为星期日的所有年份)。 let myDate (dw:System.DayOfWeek)
我有一个包含许多元素的 Xelement。 我有以下代码来对它们进行排序: var calculation = from y in x.Elements("row")
假设我有: 在 javacript 文件中,我为类按钮和 ID 名称定义了点击操作,例如: $("#name").click(function(event){ alert("hi"); }) $
我有一个包含 2 个 subview 的 View - collectionView 和自定义 View 。我想设置一个操作在布置 2 个 View 后运行,但layoutSubViews 运行了两次
关闭。这个问题需要更多 focused .它目前不接受答案。 想改进这个问题?更新问题,使其仅关注一个问题 editing this post . 2年前关闭。 Improve this questi
我想知道 C++ 中是否有内置方法来比较两个双向迭代器的顺序。例如,我有一个 Sum 函数来计算同一列表中 2 个迭代器之间的总和: double Sum(std::list::const_itera
在 MySQL 中,这两个查询之间有区别吗? SELECT * FROM .... ORDER BY Created,Id DESC 和 SELECT * FROM .... ORDER BY Cre
我是一名优秀的程序员,十分优秀!