dask - 直接在专用 Dask Worker 上运行任务

Question

一个简单的代码片段如下:注释后跟 ### 很重要..

from dask.distributed import Client

### this code-piece will get executed on a dask worker.
def task_to_perform():
    print("task in progress.")
    ## do something here..
    print("task is over.!")

### whereas the below code will run on client side, 
### assume on a different node than worker
client= Client("127.0.01:8786")
future = client.submit(task_to_perform)
print("task results::", future.result())

因此，执行的控制流程将如下所示:dask-client 将任务提交给 dask-scheduler，调度程序将根据可用的工作人员来调用必须向任务提交的工作人员。

但是 dask 中是否有任何机制，我可以通过该机制绕过 dask 调度程序向专用/特定工作人员提交任务？

Answer 1

您可以使用 workers= 关键字提交来选择特定的工作人员来运行任务

client.submit(func, *args, workers='tcp://worker-address:port')

您可以通过查看worker的日志或调用client.scheduler_info()来获取地址。有关 workers= 关键字的更多信息可在此处获取:http://distributed.readthedocs.io/en/latest/locality.html#user-control

请注意，这仍然通过调度程序路由任务。客户端只是告诉调度程序将任务调度到哪里。