gpt4 book ai didi

python - 多处理器环境下的 scikit-learn 网格搜索

转载 作者:太空宇宙 更新时间:2023-11-04 10:43:41 24 4
gpt4 key购买 nike

我能够在我的四核处理器上本地并行运行 scikit-learn 函数 GridSearchCV。我想知道使用 MPI 的某些模块(例如 mpi4py)将其扩展到多处理器环境是否简单。

我对此很陌生,所以如果能提供额外的相关信息,我将不胜感激。我现在正在浏览 mpi4py 的文档。

谢谢!

最佳答案

你可以看看GridSearchCV implementation作为在 MPI 之上实现您自己的变体的灵感。然而,MPI 可能无法提供一种自然的方式来避免通过网络一遍又一遍地传输输入训练集数据。

另一种方法是使用 IPython.parallel如本 tutorial 中所述.本教程中使用的pyrallel helper lib的代码也是available on github .

关于python - 多处理器环境下的 scikit-learn 网格搜索,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18985303/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com