gpt4 book ai didi

Tensorflow镜像策略和Horovod分布策略

转载 作者:行者123 更新时间:2023-12-03 21:04:47 32 4
gpt4 key购买 nike

我试图了解 Tensorflow 镜像策略和 Horovod 分布策略之间的基本区别是什么。

从文档和源代码调查中,我发现 Horovod (https://github.com/horovod/horovod) 正在使用消息传递协议(protocol) (MPI) 在多个节点之间进行通信。具体来说,它使用 MPI 的 all_reduce、all_gather。

根据我的观察(我可能错了)镜像策略也在使用 all_reduce 算法(https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/distribute)。

他们都使用数据并行、同步的训练方法。
所以我有点困惑它们有什么不同?差异仅在实现上还是存在其他(理论)差异?

以及镜像策略的性能与horovod相比如何?

最佳答案

Mirror Strategy 有自己的 all_reduce 算法,它在后台使用远程过程调用 (gRPC)。
就像你提到的,Horovod 使用 MPI/GLOO 在多个进程之间进行通信。

关于Tensorflow镜像策略和Horovod分布策略,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55008213/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com