gpt4 book ai didi

python - 在 python 中具有依赖关系的批处理

转载 作者:太空狗 更新时间:2023-10-30 02:49:58 24 4
gpt4 key购买 nike

我正在寻找为不同类型的作业创建作业调度程序的最佳方法。 CJobs 是线程化的,一些作业需要在进程的下一步运行之前完成。这目前全部通过数据库表进行管理......我认为这很好。但是,如果有更好的方法来管理依赖关系,我会洗耳恭听。

我最好在 python 中执行此操作。我看到有一个看起来不错的并行 python 模块,但我担心作业之间的依赖性问题。

有人可以推荐任何可以做我需要做的事情或如何去做吗?

非常感谢!

D

更新:这是在一组服务器上完成的,每个服务器都有一组有限的可用工作人员……每个端口 1 个。 Celery 或 SCon 支持吗?

最佳答案

Luigi看起来很有趣。它允许您创建工作流 - 相关作业集,这些依赖项由 Luigi 管理。它还具有提供依赖关系图的简单 Web 界面。

关于python - 在 python 中具有依赖关系的批处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5569742/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com