gpt4 book ai didi

slurm - 如何从SLURM获取详细的作业运行信息(例如,类似于LSF为 "standard output"生成的信息)?

转载 作者:行者123 更新时间:2023-12-04 22:59:35 33 4
gpt4 key购买 nike

当将bsub与LSF一起使用时,-o选项提供了许多详细信息,例如,作业何时开始和结束以及该作业花费了多少内存和CPU时间。使用SLURM,我得到的是与运行没有LSF的脚本时得到的标准输出相同的标准输出。

例如,给出以下Perl 6脚本:

warn  "standard error stream";
say "standard output stream";

提交如下:
sbatch -o test.o%j -e test.e%j -J test_warn --wrap 'perl6 test.p6'

生成文件 test.o34380:
Testing standard output

和文件 test.e34380:
Testing standard Error  in block <unit> at test.p6:2

使用LSF,我将在标准输出文件中获得各种详细信息,例如:
Sender: LSF System <lsfadmin@my_node>
Subject: Job 347511: <test> Done

Job <test> was submitted from host <my_cluster> by user <username> in cluster <my_cluster_act>.
Job was executed on host(s) <my_node>, in queue <normal>, as user <username> in cluster <my_cluster_act>.
</home/username> was used as the home directory.
</path/to/working/directory> was used as the working directory.
Started at Mon Mar 16 13:10:23 2015
Results reported at Mon Mar 16 13:10:29 2015

Your job looked like:

------------------------------------------------------------
# LSBATCH: User input
perl6 test.p6

------------------------------------------------------------

Successfully completed.

Resource usage summary:

CPU time : 0.19 sec.
Max Memory : 0.10 MB
Max Swap : 0.10 MB

Max Processes : 2
Max Threads : 3

The output (if any) follows:

standard output stream

PS:

Read file <test.e_347511> for stderr output of this job.

更新:
-v的一个或多个 sbatch标志可提供更多的初步信息,但不会更改标准输出。

最佳答案

在每项工作结束时,我都会使用
sstat -j $SLURM_JOB_ID.batch --format=JobID,MaxVMSize
将RAM使用情况添加到标准输出中。

关于slurm - 如何从SLURM获取详细的作业运行信息(例如,类似于LSF为 "standard output"生成的信息)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29928925/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com