dask - 如何让所有 worker 在dask中执行相同的任务？

Question

我想让所有 worker 做同样的任务，就像这样:

from dask import distributed
from distributed import Client,LocalCluster
import dask
import socket


def writer(filename,data):
    with open(filename,'w') as f:
        f.writelines(data)

def get_ip(x):
    return socket.gethostname()
    #writer('/data/1.txt',a)
client = Client('192.168.123.1:8786')

A=client.submit(get_ip, 0,workers=['w1','w2'], pure=False)
print(client.ncores(),
        client.scheduler_info()
#       dask.config.get('distributed')
     )
A.result()  

我有 2 个 worker ，但只打印 1 个 worker 的主机名

Answer 1

实现您想要的效果的一个简单方法是使用 Client.run 方法

client.run(socket.gethostname)

这会在所有工作线程上运行该函数并返回所有结果。它不使用普通的任务调度系统，该系统的设计目的与您想要的目的截然不同。