machine-learning - tensorflow 中的 RMSProp 优化器是否使用 Nesterov 动量？

Question

当您创建 RMSPRop 优化器时，它会要求提供动量值。这个势头是什么？是内斯特洛夫还是另一个？如何在 tf 中使用 Nesterov 动量和 RMSProp？

这里的文档字符串中有一个公式: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/training/rmsprop.py#L25

mean_square = decay * mean_square{t-1} + (1-decay) * gradient ** 2
mom = momentum * mom{t-1} + learning_rate * g_t / sqrt(mean_square + epsilon)
delta = - mom

有人可以解释一下 g_t 术语的含义以及这个公式是在哪里计算的吗？

据我了解，在 Nesterov Momentum+rmsprop 中，您首先用当前动量更改权重，计算新的梯度，将它们除以 sqrt(mean_square+epsilon) 并添加到动量中。这是这里发生的事情吗？由于我对 tf 源不是很熟悉，因此无法找到 Training_ops.apply_rms_prop 的实现。

我来自 Coursera Geoffrey Hinton 关于神经网络的类(class)，其中解释了 Nesterov 动量 + rmsprop 算法。如何在 tf 中使用它？

如果我对 Nesterov 动量或任何其他事物的理解有误，请纠正我。

Answer 1

1. 您引用的文档明确提到:

   This implementation of RMSProp uses plain momentum, not Nesterov momentum.

2. 据我所知，RMSProp 中没有内置的 Nesterov 动量实现。您当然可以根据自己的需要调整功能。

3. 正如@xolodec所说，g_t是渐变。