machine-learning - 时间差分学习和反向传播

Question

我已阅读斯坦福大学的这一页 - https://web.stanford.edu/group/pdplab/pdphandbook/handbookch10.html 。我无法理解 TD 学习如何在神经网络中使用。我正在尝试制作一个使用 TD 学习的西洋跳棋人工智能，类似于他们在双陆棋中实现的那样。请解释 TD 反向传播的工作原理。

我已经提到过这个问题 - Neural Network and Temporal Difference Learning但我无法理解接受的答案。如果可能，请用不同的方法进行解释。

Answer 1

TD 学习不用于神经网络。相反，TD 学习中使用神经网络来存储值(或 q 值)函数。

我认为您将反向传播(神经网络的概念)与强化学习中的引导混淆了。 Bootstrapping 结合使用最近的信息和之前的估计来生成新的估计。

当状态空间很大，不易将值函数存储在表中时，可以使用神经网络作为近似方案来存储值函数。

关于前向/后向 View 的讨论更多的是关于资格跟踪等。RL 引导 serval 及时前进的情况。然而，这是不切实际的，并且有一些方法(例如资格跟踪)可以留下痕迹并更新过去的状态。

这不应该与神经网络中的反向传播联系或混淆。与此无关。