gpt4 book ai didi

Python jug(或其他)用于集群环境中具有异构任务的令人尴尬的并行作业

转载 作者:行者123 更新时间:2023-11-28 16:47:09 25 4
gpt4 key购买 nike

我通常有大量的依赖作业,并希望在 PBS 集群环境中有效地运行它们。我一直在使用 Ruffus 并且对它非常满意,但我也想尝试一下其他方法。

在 python 中看起来很有趣的一个是 jug。但是,jug 似乎假设这些工作的要求是同质的。我有一些工作需要 8GB RAM,而其他工作只需要 100MB;有些可以消耗所有处理器,有些是单线程的。我的目标是能够快速组装一个管道,运行它并根据依赖关系“更新”它,并合理地记录,以便我可以看到哪些作业仍然需要运行。是否有人在使用 jug 或其他类似系统来满足这些类型的要求?

最佳答案

这里是 jug 的作者。

Jug 确实很好地处理了依赖关系。如果您更改任何输入或中间步骤,运行 jug status 将告诉您计算的状态。

目前没有办法指定某些任务(jug 称为作业)应该分配多个进程。过去,每当我有要在多线程中运行的任务时,我都被迫采取最坏情况的方法并将所有进程分配给 jug execute 进程。

这当然意味着单线程任务将占用所有进程。由于大部分计算发生在多线程任务中,因此可以接受。

关于Python jug(或其他)用于集群环境中具有异构任务的令人尴尬的并行作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12750787/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com