artificial-intelligence - 网格世界中策略迭代背后的直觉

Question

我应该想出一个 MDP 代理，它使用策略迭代和值迭代进行分配，并将其性能与状态的效用值进行比较。

如果 MDP 智能体知道转换概率和奖励，它如何知道移动哪个 Action ？

据我了解，MDP 代理将执行策略迭代，并根据给定的策略计算它在达到终止状态时获得的奖励。该策略是从值迭代算法发展而来的。

有人可以提供一些关于策略迭代如何工作的直觉吗？

Answer 1

假设您已经了解什么是策略迭代和值迭代算法，代理只需通过为每个状态选择具有最高值的操作来构建新策略。

一个 Action 的值(value)是该 Action 所有可能的下一个状态到达下一个状态的概率 *(下一个状态的值 + 转换的奖励)的总和。