multiplayer - 如何更新两人游戏的 Q 值

Question

对于单人游戏，Q 值更新非常直观。当前状态和 future 状态取决于单个玩家的策略，但对于两个玩家而言，情况并非如此。考虑对手获胜并且游戏终止的场景。 Q 值是如何更新的？

Answer 1

一种常见的方法是将你的对手视为环境的一部分，因此状态将被定义为包括对手的位置。你选择一个 Action 并执行它，修改状态。然后对手采取行动，再次修改状态。然后，您的智能体会收到状态素数，这是其先前操作和对手先前操作的结果。

因此，如果在状态 s 中你采取行动 a，然后对手采取行动并终止游戏，你将记录从 s 通过 a 进入终端状态。