deep-learning - 进化策略和强化学习之间的区别？

Question

我正在学习机器人强化学习中采用的方法，并遇到了进化策略的概念。但我无法理解 RL 和 ES 有何不同。谁能解释一下？

Answer 1

据我了解，我知道两个主要的。

1) 强化学习使用一个代理的概念，代理通过以不同的方式与环境交互来学习。在进化算法中，它们通常从许多“代理”开始，只有“强大的代理才能生存”(具有产生最低损失特征的代理)。

2) 强化学习代理学习积极和消极的 Action ，但进化算法只学习最优的，消极或次优的解决方案信息被丢弃和丢失。

示例

您想构建一个算法来调节房间内的温度。

房间的温度是 15 °C，而您希望它是 23 °C。

使用强化学习，代理将尝试一系列不同的 Action 来增加和降低温度。最终，它了解到提高温度会产生很好的返回。但它也了解到降低温度会产生不好的返回。

对于进化算法，它从一堆随机代理开始，这些代理都有一组预编程的 Action 。然后具有“升高温度” Action 的代理存活下来，并移动到下一代。最终，只有提高温度的代理才能存活并被认为是最佳解决方案。但是，该算法不知道如果降低温度会发生什么。

TL;博士: RL 通常是一个代理，尝试不同的 Action ，并学习和记住所有信息(正面或负面)。 EM 使用许多猜测许多 Action 的代理，只有具有最佳 Action 的代理才能生存。基本上是一种解决问题的蛮力方法。