multithreading - SLURM 节点、任务、核心和 CPU

Question

有人能够澄清这些事情实际上是什么吗？从我收集到的信息来看，节点是集群内的计算点，本质上是一台计算机。任务是可以在单个节点或多个节点上执行的进程。核心基本上是您希望在单个节点上分配多少 CPU 来执行分配给该 CPU 的任务。它是否正确？我在混淆什么吗？

Answer 1

这些术语在不同的上下文中可能有不同的含义，但如果我们坚持使用 Slurm 上下文:

A(计算)节点 是更大的节点集(集群)的计算机部分。除计算节点外，集群还包括一个或多个登录节点、文件服务器节点、管理节点等。计算节点提供诸如处理器、 volatile 内存(RAM)、永久磁盘空间(例如 SSD)、加速器(例如 GPU)等资源等等

一个 核心 是执行计算的处理器的一部分。处理器包括多个内核，以及内存 Controller 、总线 Controller 和可能的许多其他组件。 Slurm 上下文中的处理器称为 socket ，这实际上是主板上承载处理器的插槽的名称。单核可以有一个或两个 硬件线程 .这是一种技术，它允许操作系统感知的内核数量几乎翻倍，同时仅将部分核心组件(通常是与内存和 I/O 相关的组件，而不是计算组件)增加一倍。 HPC 中经常禁用硬件多线程。

一个 中央处理器 在一般上下文中是指处理器，但在 Slurm 上下文中，CPU 是节点提供的可消耗资源。根据 Slurm 配置，它可以指代套接字、内核或硬件线程。

Slurm 的作用是将这些资源与 匹配。职位 .一个作业包含一个或多个(顺序) 步骤 ，并且每个步骤都有一个或多个(并行) 任务 .任务是正在运行的程序的实例，即在进程中，可能与 子进程 或 软件线程 .
根据每个任务需要多少核心，在可能的多个节点上分派(dispatch)多个任务。一个任务需要的内核数量取决于正在运行的程序实例中的子进程或软件线程的数量。这个想法是将每个硬件线程映射到一个核心，并确保每个任务都将所有分配的核心分配在同一节点上。