gpt4 book ai didi

用于多个 MapReduce 步骤的 Python 工作流引擎

转载 作者:行者123 更新时间:2023-11-28 19:24:23 27 4
gpt4 key购买 nike

<分区>

SO 的优秀人才,

我需要通过各种步骤处理一组(庞大的)数据;每个步骤都可以涉及 mapReduce(使用 Disco )、一般分布式处理(使用 Celery )或服务器上的一些简单处理。我正在寻找可以帮助管理此类工作流的工作流引擎/库/框架。

我研究了很多选项并且 spiff workflow似乎是最灵活的,但它似乎不支持状态转换操作并且它是单线程的(所以我不确定如何处理并行网关)。

请就管理此类工作流程/作业的方法/工具提出建议。如果有一个框架带有监控工具(最好是基于网络的或者可以与 Pyramid 集成),那就更好了。

提前致谢

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com