hadoop - Slurm:在 salloc 和 srun 下执行的代码有什么区别

Question

我正在使用由 slurm 管理的集群来运行一些 yarn/hadoop 基准测试。为此，我在 slurm 分配的节点上启动 hadoop 服务器，然后在其上运行基准测试。我意识到这不是运行生产 hadoop 集群的预期方式，但必须如此。

为此，我首先编写了一个与 srun 一起运行的脚本，例如 srun -N 4 setup.sh。该脚本写入配置文件并在分配的节点上启动服务器，编号最小的机器充当主服务器。这一切正常，我能够运行应用程序。

但是，因为我想启动服务器一次，然后在它们上启动多个应用程序而不在开始时重新启动/编码所有内容，所以我想改用 salloc。我原以为这将是运行 salloc -N 4 然后运行 ​​srun setup.sh 的简单情况。不幸的是，这不起作用，因为不同的服务器无法相互通信。任何人都可以向我解释一下使用 srun 和使用 salloc 然后 srun 在操作环境中的区别吗？

非常感谢

丹尼尔

Answer 1

来自slurm-users mailing list :

sbatch and salloc allocate resources to the job, while srun launches parallel tasks across those resources. When invoked within a job allocation, srun will launch parallel tasks across some or all of the allocated resources. In that case, srun inherits by default the pertinent options of the sbatch or salloc which it runs under. You can then (usually) provide srun different options which will override what it receives by default. Each invocation of srun within a job is known as a job step.

srun can also be invoked outside of a job allocation. In that case, srun requests resources, and when those resources are granted, launches tasks across those resources as a single job and job step.