python - Keras 中的 Tensorflow adam 优化器

Question

我在 Tensorflow 中有一个网络，我正尝试在 Keras 中重新实现它。目前与 Tensorflow 模型相比，Keras 模型完全表现不佳。与原始模型相比，损失要高得多并且减少得更慢。我最好的猜测是我使用了错误的优化器。在 Tensorflow 代码中，优化器如下所示:

global_step = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(0.0001,
                                           global_step,
                                           decay_steps=10000,
                                           decay_rate=0.33,   
                                           staircase=True)
optimizer = tf.train.AdamOptimizer(learning_rate, epsilon=1e-8)
train_op = optimizer.minimize(total_loss, global_step)

在 Keras 中它看起来像这样:

adam = keras.optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-8)
model.compile(loss=get_loss_funcs(), optimizer=adam)

有没有办法在 Keras 中实现 Tensorflow 优化器？

Answer 1

是的，有! - TFOptimizer

class TFOptimizer(Optimizer):
"""Wrapper class for native TensorFlow optimizers.
"""

它的名字是这样的:

keras.optimizers.TFOptimizer(optimizer)

wrapp 将帮助您查看问题是否由优化器引起。