linux - 根据集群负载在 SGE 集群上动态提交 Qsub 作业

Question

我正在尝试在最多支持 688 个作业的 SGE(Sun Grid Engine)集群上运行 qsub 作业。我想知道是否有任何方法可以找出集群上当前正在运行的作业总数，以便我可以根据当前集群负载提交作业。

我打算做这样的事情:休眠 1 分钟，然后再次检查集群中的作业数是否小于 688，然后进一步提交作业。

只是为了澄清我的问题是关于了解集群上提交的作业总数，而不仅仅是我当前提交的作业。

提前致谢。

Answer 1

您可以使用qstat 列出所有用户的作业；这与 awk 和 wc 可用于找出集群上的作业总数:

qstat -u "*" | awk '{if ($5 == "r" || $5 == "qw") print $0;}' | wc -l

上述命令还考虑了在计算节点上排队等待调度的作业。

但是，集群系统管理员可以禁止用户检查不属于他们的作业。您可以通过运行来验证您是否可以看到其他用户的作业:

qstat -u "*"

如果您知道另一个用户正在运行一个作业，但您在运行上述命令时看不到它，很可能是系统管理员禁用了该选项。

事后思考:据我了解，您只是一个普通的集群用户 - 为什么您还要费心以这种方式提交作业。你为什么不提交所有你想要的作业，如果集群无法安排你的作业，它只会将它们置于 qw 状态并在 SGE 认为最合适的时候安排它们时间。