python - slurm集群中登录节点如何与计算节点通信？

Question

我刚刚开始使用与 Slurm Workload Manager 一起运行的计算集群。我很好奇计算节点在计算时如何与登录节点通信，因为即将运行的脚本与脚本可能读取的其他文件一起存储在登录节点中。

例如，在工作字典中， float 列表以可以使用 pickle 加载的格式存储。我希望在计算节点上运行的脚本如下所示:

import pickle
with open('data_list.db', 'rb') as source_file:
    data_list = pickle.load(source_file)

data_sum = sum(data_list)
print(data_sum)

如果我通过bash脚本提交这个example.py脚本

#!/bin/bash
#SBATCH --job-name=test
#SBATCH --partition=the_partition
#SBATCH --nodes=1
#SBATCH --ntasks=6
python example.py

登录节点和计算节点上到底运行了什么？

Answer 1

Slurm 期望登录节点和计算节点都可以访问相同的网络文件系统(通常为 NFS )或并行文件系统( BeeGFS 、 Lustre 等)，以便每个文件都可以读取和写入在任何计算节点的任何导出目录中。