dask - 在 PythonScriptStep 中使用 Dask 集群

Question

是否可以将多节点 Dask 集群用作 PythonScriptStep 的计算与 AML 管道？
我们有一个 PythonScriptStep使用 featuretools的，深度特征合成 ( dfs ) ( docs )。 ft.dfs()有一个参数，n_jobs这允许并行化。当我们在一台机器上运行时，这项工作需要三个小时，而在 Dask 上运行得更快。如何在 Azure ML 管道中实现此操作？

Answer 1

我们一直在工作，最近发布了一个 dask_cloudprovider.AzureMLCluster您可能感兴趣的:link to repo .您可以通过 pip install dask-cloudprovider 安装它.AzureMLCluster如果需要，可以在 AzureML 服务上实例化 Dask 集群，并具有扩展到 100 个节点的弹性。唯一需要的参数是 Workspace对象，但您可以传递自己的 ComputeTarget你应该选择。
如何使用它的一个例子你可以found here .在这个例子中，我使用了我的自定义 GPU/RAPIDS docker 图像，但您可以使用 Environment 中的任何图像。类(class)。