machine-learning - DQN 如何在奖励始终为 -1 的环境中工作

Question

鉴于 OpenAI Gym 环境 MountainCar-v0总是返回 -1.0 作为奖励(即使目标实现了)，我不明白 DQN 与经验回放如何收敛，但我知道它会收敛，因为我有 working code这证明了这一点。通过工作，我的意思是，当我训练智能体时，智能体很快(在 300-500 集内)学习如何解决山车问题。以下是我训练有素的代理的示例。

据我了解，最终需要找到一个“稀疏的奖励”。然而据我从 openAI Gym 看到的 code ，除了 -1 之外没有任何奖励。感觉更像是一个“没有奖励”的环境。

几乎回答了我的问题，但实际上没有:当任务快速完成时，该剧集的返回(奖励总和)更大。因此，如果汽车从未找到标志，则返回 -1000。如果汽车很快找到标志，返回值可能是 -200。这不能回答我的问题的原因是，使用 DQN 和经验重放时，这些返回值 (-1000, -200) 永远不会出现在经验重放内存中。所有内存都是(状态、 Action 、奖励、next_state)形式的元组，当然请记住，元组是从内存中随机提取的，而不是逐集提取。

这个特定 OpenAI Gym 环境的另一个元素是，在两种情况下都会返回“完成”状态:击中标志 (yay) 或在一定步数后超时 (boo)。然而，智能体对两者的对待是一样的，接受-1 的奖励。因此，就内存中的元组而言，从奖励的角度来看，这两个事件看起来是相同的。

所以，我在内存中没有看到任何表明该集表现良好的内容。

因此，我不知道为什么这个 DQN 代码适用于 MountainCar。

Answer 1

这样做的原因是因为在 Q-learning 中，你的模型试图估计每个可能 Action 的所有 future 奖励的 SUM(技术上是时间衰减总和)。在 MountainCar 中，你每一步都会获得 -1 的奖励，直到你获胜，所以如果你确实获胜，你最终获得的负奖励会比平时少。例如，获胜后的总分可能是 -160 而不是 -200，因此您的模型将开始预测历史上导致赢得比赛的行动的更高 Q 值。