python sge api提交到特定节点

Question

我尝试将我的程序与集群一起使用。现在，我创建一些小作业，并使用 bash 脚本将其提交到特定节点。这些作业将一个大文件复制到节点，对该文件执行 5 个其他程序，最后作业将文件复制回来并在节点上删除它。

这个提交作业的 bash 脚本检查给定目录中有多少硬盘是空闲的，计算可以在该节点上运行的最大作业数，并将该数量的作业发送到该特定节点。这种方法的缺点是我必须在所有作业完成后多次运行这个 bash 脚本。

现在我想使用 python 和 drmaa api 来完成此操作。但现在我想知道是否能够通过这个api进行节点控制。是否可以使用 drmaa api 提交到特定节点？

或者我是否必须使用 Popen 编写一个解决方法来执行 qsub 命令并通过解析 qstat 命令的输出来获取每个节点的作业数量？

Answer 1

我不熟悉 Python 的 drmaa api，但如果它为您提供了指定限制的方法，您可以使用限制来限制作业将在其上运行的主机。也许使用类似nativeSpecification的东西来传递-l hostname=whatever？

参见http://www.gridengine.eu/programming-apis

Setting job submission parameters, which are not defined by the DRMAA standard is easy: They can be set with using the DRMAA standardized native specification, which is in Go the SetNativeSpecification() job template method.