tree - 如何在复杂游戏中的 MCTS 中执行 Roll-out

Question

好吧，我基本上了解 MCTS 如何与节点选择等一起工作。我不明白的是随机推出阶段。我随机模拟 future 的游戏步骤直到以赢或输结束，这是否正确？对于具有多种状态、可能的行动以及未知的敌人行动的更复杂的游戏来说，推出是否需要很长时间？如果你随机地推出敌人的 Action 直到游戏结束，那么随机地返回胜利或失败不是更好吗？如果有人能用一个简单的例子(比如 3 步或 4 步游戏)来解释推出阶段，我会很高兴。

提前致谢。

Answer 1

模拟随机游戏比随机返回输赢信息更丰富。

想象一下井字游戏棋盘，其中一种颜色无法再获胜，但另一种颜色可以。显然，随机推出可以揭示这一事实。

此外，通常还存在样本返回特定结果的概率的实际信息。您赢得所有随机游戏的 90% 的情况可能比您仅赢得所有随机游戏的 10% 的情况更好。当然，这不能一概而论。仅当播放了单个正确响应时，一个分支才可能包含特定的胜利 - 并且同一分支可能具有许多可能的失败路径。

MCTS 的一项可能的改进是比随机播放更智能。