keras - keras 中的渐变裁剪

Question

我有一个使用 Keras 完全实现的 LSTM RNN，我想使用梯度剪裁，梯度范数限制为 5(我正在尝试复制一篇研究论文)。在实现神经网络方面，我是一个初学者，我将如何实现？

是否只是(我正在使用 rmsprop 优化器):

 sgd = optimizers.rmsprop(lr=0.01, clipnorm=5)

 model.compile(optimizer=sgd,
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])

Answer 1

根据official documentation , 任何优化器都可以有可选参数 clipnorm和 clipvalue .如 clipnorm提供，只要梯度范数超过阈值，就会剪裁梯度。