python - DQN 在不同的计算机上表现不同

Question

我有一个或多或少标准的 DQN 实现来解决 Atari“Breakout”(来自 Coursera 强化学习类(class))，它在不同的计算机上表现完全不同:

• 在我的笔记本电脑上它收敛每次我运行它
• 在 Coursera 和 Google Colab 服务器上，它从不收敛!

我用

• Python3
• tensorflow
• Kerass(仅适用于 Conv2D、Flatten 和 Dense 层)

我已经花了大约两周的时间解决这个问题，但没有任何进展:(

我已经检查过:

• 版本:
  • Python:相同 (3.6.7)
  • Tensorflow:相同(使用 1.4.0 和 1.5.0 测试)
  • numpy:错误修复编号相同(1.16.2 与 1.16.3)
• 随机种子
• float32 与 float64:我总是将 dtype=np.float32 传递给每个 np.array 和 tf.placeholder 调用。
• 中央处理器/图形处理器
  • 我的笔记本电脑，融合，使用旧 CPU(将 Tensorflow 限制为 <= 1.5.0)
  • 在 Coursera 服务器上，永不收敛:CPU？
  • 在 Google Colab 服务器上，永不收敛:GPU

我的问题是:

• 不同行为的原因可能是什么？
• 如何调试此类问题？
• 我还可以做什么/检查以最终找到问题？

更新:所有代码(包括超参数、环境、...)完全相同。

Answer 1

我假设您使用给定的超参数值运行特定版本的代码。然后，您需要在 tensorflow(例如 tf.set_random_seed(1))代码的开头修复随机种子，对于 numpy(例如 np.random.seed(1)) 和随机的，如果你使用它。

此外，您必须在所有机器上安装相同版本的 tensorflow。我的经验是，即使是 1.3 和 1.8 之间的正向传递也会导致两个不同的输出。 gym 需要进行相同的检查。

最后，你必须检查 cpu 或 gpu。您不能将 cpu 运行的结果与 gpu 运行的结果进行比较。

如果这些检查都不起作用，我可以检查你的 colab 代码(如果你想分享它)。