deep-learning - Leaky-ReLU 的缺点是什么？

Question

我们使用 ReLu 而不是 Sigmoid 激活函数，因为它没有像激活函数一样存在于 Sigmoid 中的梯度消失和爆炸问题，
Leaky-ReLU 是 rely 的改进之一。大家都在谈论 Leaky-ReLU 的优势。但是 Leaky-ReLU 的缺点是什么？

Answer 1

ReLU 替换了隐藏层中的 sigmoid，因为它可以为通用应用程序产生更好的结果，但这实际上取决于您的情况，其他激活函数可能效果更好。 Leaky ReLU 有助于解决梯度消失问题。

我认为 Leaky ReLU 的主要缺点是您需要调整另一个参数，即斜率。但我指出，这实际上取决于您的问题，哪个功能效果更好。