machine-learning - 带有负奖励的 RL 激活函数

Question

我对具有正向和负向奖励的环境中的适当激活函数有疑问。

在强化学习中，我相信我们的输出应该是所有可能行动的预期奖励。由于某些选项具有负奖励，因此我们希望输出范围包含负数。

这让我相信唯一合适的激活函数要么是线性函数，要么是 tanh 函数。然而，我看到很多 RL 论文都使用了 Relu。

有两个问题:

1. 如果您确实想要同时获得负输出和正输出，是否仅限于 tanh 和线性输出？

2. 扩大奖励规模，使它们全部位于正域(即而不是 [-1,0,1], [0, 1, 2])中，这是一个更好的策略吗？为了让模型利用替代激活函数？

Answer 1

许多 RL 论文确实在大多数层中使用 Relu，但通常不会在最终输出层中使用。您在其中一篇评论中提到了《通过深度强化学习实现人类水平控制》论文和《后见之明体验重放》论文，但这两篇论文都没有描述使用 Relu 作为输出层的架构。

在《通过深度强化学习进行人类水平控制》论文中，第 6 页(引用文献之后)，“方法”部分，“模型架构”部分的最后一段提到，输出层是一个完全-连接线性层(不是Relu)。因此，实际上，所有隐藏层只能具有非负激活级别(因为它们都使用 Relus)，但如果输出层和最后一个隐藏层之间存在负权重，则输出层可以具有负激活级别。这确实是必要的，因为它应该创建的输出可以解释为 Q 值(可能为负)。

在 Hindsight Experience Replay 论文中，他们没有使用 DQN(如上面的论文)，而是使用 DDPG。这是一个“Actor-Critic”算法。该架构的“critic”部分也旨在输出可以为负的值，类似于 DQN 架构，因此这也不能使用 Relu 作为输出层(但它仍然可以在网络中的其他任何地方使用 Relus)。在本文附录A的“网络架构”下，还描述了actor输出层使用tanh作为激活函数。

回答您的具体问题:

1. If you do want to have both negative and positive outputs, are you limited to just tanh and linear?
2. Is it a better strategy (if possible) to scale rewards up so that they are all in the positive domain (i.e. instead of [-1,0,1], [0, 1, 2]) in order for the model to leverage alternative activation functions?

1. 嗯，还有其他激活(leaky relu、 sigmoid ，可能还有很多其他激活)。但 Relu 确实不会导致负输出。
2. 可能不是 100% 确定。但是，如果您不了解可能获得多少奖励(和/或返回)的领域知识，那么这通常会很困难。我有一种感觉，简单地以一个完全连接的线性层结束通常会更容易。