python - 集群作业调度程序 : tools

Question

我们正在尝试解决与集群作业调度程序相关的问题。

问题是下面我们有一组在集群中执行的 python 脚本，启动过程目前是通过人工交互完成的，我的意思是开始测试我们有一个 bash 脚本与集群请求执行所需的资源。我们打算做的是建立一个自动启动过程(在它实现作业状态并基于等待作业结束，重新启动执行等的意义上应该是合理的)。基本上我们必须在用户工作站和集群之间实现一个层。

另一个困难是我们的层必须足够聪明才能与不同的集群作业调度器交互。我们想知道是否存在一种工具或框架可以帮助我们与集群交互而不必处理每个集群调度程序的细节。我们在网上搜索过，但没有找到适合我们需求的内容。

顺便说一句，我们使用的编程语言是 Python。

提前致谢!

Br.-

Answer 1

使用主管:http://supervisord.org/和 celery http://www.celeryproject.org/在一起