python - Dask:一个worker在多个节点上运行的作业，仅在一个节点上运行

Question

我正在尝试使用 python 函数处理一些文件，并希望使用 dask 在 PBS 集群上并行化该任务。在集群上，我只能启动一项作业，但可以访问 10 个节点，每个节点有 24 个核心。

所以我的 dask PBSCluster 看起来像:

import dask
from dask_jobqueue import PBSCluster
cluster = PBSCluster(cores=240,
                     memory="1GB",
                     project='X',
                     queue='normal',
                     local_directory='$TMPDIR',
                     walltime='12:00:00',
                    resource_spec='select=10:ncpus=24:mem=1GB',
                    )
cluster.scale(1) # one worker 
from dask.distributed import Client
client = Client(cluster)     
client

Dask 中的集群显示 1 个工作线程具有 240 个核心(不确定这是否有意义)。当我运行时

result = compute(*foo, scheduler='distributed') 

并访问分配的节点，其中只有一个节点实际上正在运行计算。我不确定我是否使用了正确的 PBS 配置。

Answer 1

cluster = PBSCluster(cores=240,
                     memory="1GB",

您为 Dask Jobqueue 构造函数提供的值是单个节点的单个作业的值。因此，您在这里要求一个具有 240 个核心的节点，这在今天可能没有意义。

如果您只能启动一项作业，那么 dask-jobqueue 的模型可能不适合您。我建议查看 dask-mpi作为替代方案。