machine-learning - 为什么 RMSProp 被视为 "leaky"？

Question

decay_rate = 0.99 # decay factor for RMSProp leaky sum of grad^2

我对上面的评论措辞感到困惑，他们谈论了 RMSProp 优化器的“泄漏”平方和。到目前为止，我已经发现这一行是从 Andrej Karpathy 的 Deep Reinforcement Learning: Pong from Pixels 复制粘贴过来的。 ，RMSProp 是 unpublished optimizer proposed by Hinton in one of his Coursera Classes 。查看 link 2 中 RMSProp 的数学计算，很难弄清楚其中任何一个是如何“泄漏”的。

有人知道为什么 RMSProp 是这样描述的吗？

Answer 1

RMsprop 保持平方梯度的指数衰减平均值。 “泄漏”的措辞(无论多么不幸)是指先前的估计有多少“泄漏”到当前的估计，因为

E[g^2]_t := 0.99 E[g^2]_{t-1} + 0.01 g^2_t
            \_______________/   \________/
               "leaking"         new data