amazon-web-services - `dask-kubernetes` 调度程序 - AWS 上的工作人员

Question

我一直在尝试设置 dask.distributed使用 kubernetes 的集群.设置 kube集群本身非常简单，我目前正在努力解决的问题是我无法让本地调度程序连接到工作人员。 Worker 可以连接到调度程序，但它们在 kube 中通告地址。在 kube 之外运行的调度程序无法访问的网络网络。

遵循 dask-kubernetes 中的示例文档 我得到了 kube集群在 AWS 上运行并且(在单独的 AWS 机器上)启动了 notebook与本地 dask.distributed调度器。调度程序在 kube 上启动了一些工作人员。集群，但它无法连接到所述工作人员，因为工作人员位于不同的网络上:内部 kube网络。

网络设置如下所示:

在 192.168.0.0/24

上运行的笔记本服务器

kube集群 EC2 实例也在 192.168.0.0/24

kube pod 在 100.64.0.0/16

dask调度程序在 192.168.0.0/24 上运行但是 dask worker 在 100.64.0.0/16 - 我如何连接两者？我是否也应该在 kube 中运行调度程序？ pod，编辑路由表，尝试找出工作人员的主机 IP 地址？

工作人员能够连接到调度程序，但在调度程序中我得到了一个错误的形式

distributed.scheduler - ERROR - Failed to connect to worker 'tcp://100.96.2.4:40992': Timed out trying to connect to 'tcp://100.96.2.4:40992' after 3.0 s: connect() didn't finish in time

我不是在寻找我可以做的事情的列表，我在寻找推荐的设置方法，特别是与 dask.distributed 相关的.

我设置了 kube使用 kops 的集群.

https://dask-kubernetes.readthedocs.io/en/latest/

Answer 1

我通常在 Kubernetes 集群中使用 dask-kubernetes，但显然这并不适合所有人。

网络可能会有所不同。我的猜测是默认选择的 IP 地址对您的 Kubernetes 网络不可见。如果您确实有您的工作人员可以连接的地址，您可以在 ip= 中指定它。关键字参数。

cluster = KubeCluster(ip='scheduler-address-visible-to-workers')

如果有一个您知道可见的网络接口(interface)，那么您可以将其概括如下:

from distributed.utils import get_ip_interface
ip = get_ip_interface('eth0')  # replace eth0 with your visible network interface

在基于 UNIX 的系统上，您通常可以使用 ifconfig 找到合适的接口(interface)列表。命令。您可能会在该列表中查找与您在工作人员身上看到的地址相似的地址。

如果这些都不可能，那么我建议在 https://github.com/dask/dask-kubernetes/issues/new 提出问题。