amazon-web-services - 如何在我的虚拟私有(private)云上获取 DASK？

Question

我们正在公司寻找并行计算解决方案，最终选择了 DASK。我必须将其放入虚拟私有(private)云中，但它是开源的，而且我没有这样做的经验。谁能建议如何在 VPC 上设置它？

Answer 1

我将从最简单的部署开始 - 即在 Amazon 或 Azure 上获取一个大盒子，安装 Anaconda python 发行版，然后启动 dask(和 jupyter)。如果您有一位数据科学家在该机器上使用 Jupyter，他们只需执行

from dask.distributed import Client
client = Client()

这将在该计算机上启动 LocalCluster。

如果你想从不同的机器访问dask集群，你只需要执行几个进程

启动调度程序:

$ dask-scheduler
Scheduler started at 127.0.0.1:8786

然后启动一些工作线程(理想情况下，每个核心一个)

$ dask-worker 127.0.0.1:8786
$ dask-worker 127.0.0.1:8786
$ dask-worker 127.0.0.1:8786

然后您可以通过 ssh 隧道将 8786 暴露给外界

还有许多更复杂的设置 - 在 k8s 或弹性容器服务上运行，但您是否需要它，实际上取决于您的用例。

土星云有一个 enterprise Dask product在 AWS 市场上，它将为您进行更复杂的 k8s 部署。 (免责声明:我是创始人之一)