gpt4 book ai didi

tensorflow - Inception-v3 使用 RMSProp epsilon=1

转载 作者:行者123 更新时间:2023-12-01 06:08:04 25 4
gpt4 key购买 nike

我刚刚阅读了 Inception-v3 paper ,以及作者发布的训练代码。我发现什么时候做 RMSProp
优化,作者使用epsilon=1 .但是,据我所知,人们通常使用 1e-10 或一些较小的值,Tensorflow 将默认值设置为 1e-10。

所以我的问题是 epsilon 将如何影响优化?为什么我们需要 epsilon=1 ?
谢谢!

最佳答案

通过这个github issue我找到了一篇解释该值的帖子:https://groups.google.com/a/tensorflow.org/d/msg/discuss/1JDPbuHN39w/AVXdYeaDCAAJ

在这篇文章中,inception v3 的一位作者解释说,他们需要如此高的 epsilon 来使用异步 SGD 来训练它,而较低的值实际上可能(更好)适用于同步 SGD。

关于tensorflow - Inception-v3 使用 RMSProp epsilon=1,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36172716/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com