python - 使用神经网络将旧系统更新为 Q-learning

Question

最近，我阅读了很多关于使用神经网络进行 Q 学习的文章，并考虑更新发电厂锅炉中现有的旧优化系统，该系统由一个简单的前馈神经网络组成，可以近似许多感官输入的输出。然后将输出链接到基于线性模型的 Controller ，该 Controller 以某种方式再次输出最佳操作，以便整个模型可以收敛到所需的目标。

识别线性模型是一项耗时的任务。我考虑过用 Q 函数的神经网络逼近来整修无模型 Q 学习。我画了一张图问你我走对不对。

我的问题:如果你认为我很好地理解了这个概念，我的训练集是否应该由一侧的状态特征向量和Q_target - Q_current组成(这里我'我假设奖励越来越多)以迫使整个模型朝着目标前进，还是我遗漏了什么？

注意:该图显示了上半部分的旧系统与下半部分我建议的更改之间的比较。

编辑:状态神经网络是否保证体验重播？

Answer 1

您可能只使用当前状态下所有 Action 的所有 Q 值作为网络中的输出层。一张画得不好的图是 here

因此，您可以利用 NN 一次输出多个 Q 值的能力。然后，使用 Q(s, a) <- Q(s, a) + alpha * (reward + discount * max(Q(s', a')) - Q(s, a) 导出的损失来支持 prop , 其中max(Q(s', a'))可以很容易地从输出层计算出来。

如果您还有其他问题，请告诉我。