python - tf.train.ExponentialMovingAverage 和 tf.train.MomentumOptimizer 有什么区别？

Question

我已经看到文档 tf.train.ExponentialMovingAverage 实现了这个公式:

shadow_variable = decay * shadow_variable + (1 - decay) * variable

我没有找到tf.train.MomentumOptimizer的公式。但我认为可能是:

v = γ*v - learning_rate*dx
θ = θ - v

我觉得这两个功能的作用很相似，那么它们可以互换吗？或者说它们有不同的应用场景？还是我完全错了？

shadow_variable 是否等于 θ？

感谢您的指导。

Answer 1

你完全错了。

tf.train.ExponentialMovingAverage 仅实现指数移动平均线:shadow_variable 是当前时间步的移动平均线并且已更新使用您发布的公式。每次执行保存移动平均线的节点时，所发生的只是该公式的执行。

相反，tf.train.MomentumOptimizer 是一个更复杂的对象。简而言之，它实现了一种称为“动量梯度下降”的参数更新算法，该算法计算模型参数的梯度，并使用计算出的梯度+在训练步骤中累积的动量项来执行每个网络参数的更新步骤。

动量项当然是梯度的移动平均值。但这两个函数执行不同的操作并具有不同的目标。