keras - 差异学习率 - Keras

Question

我正在阅读一篇名为 Differential Learning Rates 的文章在 Medium 上，想知道这是否可以应用于 Keras。我能够找到在 pytorch 中实现的这项技术。这可以在 Keras 中实现吗？有人可以提供任何示例代码吗？

Answer 1

从Tensorflow 2.4开始，tf.keras.optimizers.Optimizer中有一个参数:gradient_transformers。它是一个函数列表，这些函数接受并返回成对列表 [(gradient, Variable), ...]。您可以通过此参数将差分学习率实现为根据网络中的权重位置降低学习率的转换。