python-3.x - Keras 支持参数优化器吗？

Question

使用 keras 时，您可以向优化器更新规则添加一个供优化器学习的术语吗？例如，在其 github 上的 keras 优化器代码的第 200 行( https://github.com/keras-team/keras/blob/master/keras/optimizers.py )上有一个 SGD 更新规则。您能否向 SGD 优化器添加一个简单的标量变量，将更新公式更改为

new_p = (p + self.momentum * v - lr * g)*new_variable

其中 new_variable 是一个限制在特定范围(例如 0 到 1)内的标量，并且 SGD 优化器必须了解 new_variable 的适当值？

人们会如何对优化器进行此类更改？

Answer 1

这听起来很奇怪，因为对于学习来说，有必要“获取损失函数相对于权重的梯度”。 (这个变量将是一个权重，因为它是 Keras 中的可训练变量)

但请注意，您提议的这个变量:

• 不参与损失函数
• 在计算梯度(该公式中的g)之后使用

因此，独立于 Keras，这种方法(在“反向传播”学习框架中学习学习率)有点不可能。