python - 用于 DQN 强化学习的 Keras Tensorboard

Question

我正在使用 keras 构建 DQN，并使用具有经验回放内存的经典 DQN 算法对其进行训练。由于在 dqn 中，您需要多次调用 model.fit，这意味着每次从重播内存中采样批量数据时，使用 keras 的 model.fit( .... 时，每次拟合都会生成新的事件日志文件。回调=TensorBoard(...))。它会产生两个问题，首先它会生成太多的事件日志文件并大大减慢训练速度，并且在 Tensorboard 中您看不到任何趋势，例如损失逐渐减少。

可视化训练过程的方法是什么，例如查看强化学习中梯度和激活的变化，特别是 DQN 实现？

Answer 1

您可以通过 TensorFlow :

# Create FileWriter
file_writer = tf.summary.FileWriter(log_dir, tf.get_default_graph())
history = model.fit(state, Q_values, epochs=1, verbose=0)
loss = history.history['loss'][0]

# Add values to Tensorboard
training_summary = tf.Summary(value=[tf.Summary.Value(tag="loss", simple_value=loss),
                                     tf.Summary.Value(tag="score", simple_value=score)])
file_writer.add_summary(training_summary, global_step=total_frames)