linux - SGE(Sun Grid Engine)设置和调整

Question

我刚刚开始为集群设置 SGE(Sun Grid Engine)。

我有两个集群 Node1 和 Node2，

每个节点有 24 个 vCPU 和 240GB RAM。

问题是我没有使用完整的内存(大约 8%)和 CPU(大约 30%)

甚至认为我增加程序的线程看起来每次都使用相同的资源。

我想知道无论如何要使用更多的内存和CPU Flexible？以及此调整的起点是什么。

我提交如下，

qsub -l mem_free=200GB -pe olcd 20 test.sh

我使用了 qstat -f -j $jobid。得到这个

parallel environment:  olcd range: 20
usage    1:                 cpu=04:47:12, mem=30523.46624 GBs, io=0.13225, vmem=505.098M, maxvmem=3.927

尽管我将插槽设置​​为 20，但看起来只使用了一个 cpu。

我需要提高性能至少找到最佳运行时间。

有人知道设置这个 Sun Grid Engine 的好主意吗？谢谢

Answer 1

您使用 qsub 保留的插槽，即通过 -pe olcd 20 选项，不反射(reflect)系统实际使用的内容。内存的想法相同，mem_free=200GB。

qsub/SGE 的唯一作用是代表作业保留这些资源。消耗这些资源取决于作业。

说了这么多，您要提交的作业是否需要使用 20 个线程和 200GB RAM？