machine-learning - 强化学习中的Q，V(值函数)和奖励之间到底有什么区别？

Question

在Double Q或Deuling Q Networks的背景下，我不确定是否完全了解其中的区别。特别是对于V。V（s）到底是什么？国家如何具有内在价值？

如果我们在交易股票的背景下考虑这一点，那么我们将如何定义这三个变量？

Answer 1

无论网络可以谈论什么，奖励都是环境的固有部分。这是代理在执行操作后的整个生命周期中收到的信号（实际上是唯一的信号）。例如：下棋的坐席在游戏结束时仅获得一个奖励，+1或-1，而其他所有时间奖励均为零。

在此示例中，您可以看到一个问题：奖励非常稀疏，仅给出一次，但是游戏中的状态显然非常不同。如果座席处于女王状态而对手刚刚失去女王的状态，则获胜的机会非常高（稍微简化一下，但您会有所想法）。这是一个好的状态，代理商应该努力到达那里。另一方面，如果一个经纪人输掉了所有棋子，那是一个糟糕的状态，那么很可能会输掉比赛。
我们想量化什么是好状态和坏状态，这就是值函数V(s)。给定任何状态，它都会返回一个数字，无论大小。通常，正式定义是给定特定的执行策略（对于策略的讨论，请参见this question）对未来折价的期望。这完全有道理：一个好的状态就是这样，将来的+1奖励很有可能出现；糟糕的情况则恰恰相反-将来的-1很有可能发生。

重要说明：价值函数取决于奖励，而不仅取决于一种状态，对于许多情况也是如此。请记住，在我们的示例中，几乎所有状态的奖励都是0。价值函数考虑了所有未来状态及其概率。

另一个注意事项：严格来说，国家本身没有价值。但是，根据我们在环境中的目标，我们已为其分配了一个，即最大化总回报。可以有多个策略，每个策略都会引发不同的价值功能。但是（通常）存在一个最优策略和相应的最优值函数。这就是我们想要找到的！
最后，Q函数Q(s, a)或操作值函数是针对给定策略在特定状态下对特定操作的评估。当我们谈论最优策略时，行动价值函数通过Bellman最优性方程与价值函数紧密相关。这是有道理的：一个动作的值完全由采取该动作后的可能状态的值决定（在国际象棋游戏中，状态转换是确定性的，但总的来说，它也是概率性的，这就是为什么我们谈论所有这里可能的状态）。

行动价值函数再次是未来回报的衍生。这不仅仅是当前的奖励。即使立即获得的报酬是相同的，有些动作也可能比其他动作好或坏得多。




说到股票交易的例子，主要的困难是为代理商制定政策。让我们想象最简单的情况。在我们的环境中，状态只是一个元组(current price, position)。在这种情况下：


仅当代理人实际担任职务时，奖励才为非零。当它退出市场时，就没有奖励，即为零。这部分或多或少容易。
但是价值和行动价值功能非常重要（请记住，它仅考虑未来的回报，而不是过去的回报）。说，AAPL的价格为100美元，考虑到未来的回报，它是好是坏？您应该购买还是出售它？答案取决于政策。

例如，一个代理商可能以某种方式得知，每当价格突然降至40美元时，它很快就会恢复（听起来太愚蠢了，这只是一个例证）。现在，如果代理商按照此政策行事，则40美元左右的价格是一个很好的状态，它的价值很高。同样，$ 40左右的操作值Q对于“购买”来说是高的，对于“卖出”来说是低的。选择其他策略，您将获得不同的价值和行动价值功能。研究人员试图分析库存历史并提出明智的政策，但没人知道最佳政策。实际上，没有人知道状态概率，只有他们的估计值。这就是使任务真正困难的原因。