linux - 单服务器的简单作业调度程序

Question

我有一个由不同用户共享的服务器，我需要设置一个简单的工作负载管理器/作业调度系统，以允许在不同用户之间公平地共享资源。我正在寻找的是 task spooler 的多用户版本具有一些附加功能。理想情况下，它应该

• 允许不同的用户将作业添加到一个或多个队列
• 每个作业都应该有一个最大的 walltime，超过它就会被杀死，然后执行队列中的下一个作业
• 处理资源使用的“公平”(至少应该在不同用户之间循环)
• 允许多个作业在需要时同时运行(因此，如果一个用户有一个串行作业，其他用户可以利用免费资源)

我发现了一些适合这项工作的作业调度程序(如 SLURM 或 Torque)，但它们的学习曲线似乎很陡峭，而且配置和管理工作对于单个服务器来说太大了。

知道什么最有效吗？

Answer 1

Celery可能有帮助。我们使用 celery 在单个和分布式服务器中运行任务。我们可以根据需要进行修改，例如使用 Flower 添加 UI