deep-learning - Leaky-ReLU 的缺点是什么？-6ren

deep-learning - Leaky-ReLU 的缺点是什么？

转载作者：行者123 更新时间：2023-12-05 04:00:21

26

4

我们使用 ReLu 而不是 Sigmoid 激活函数，因为它没有像激活函数一样存在于 Sigmoid 中的梯度消失和爆炸问题，
Leaky-ReLU 是 rely 的改进之一。大家都在谈论 Leaky-ReLU 的优势。但是 Leaky-ReLU 的缺点是什么？

最佳答案

ReLU 替换了隐藏层中的 sigmoid，因为它可以为通用应用程序产生更好的结果，但这实际上取决于您的情况，其他激活函数可能效果更好。 Leaky ReLU 有助于解决梯度消失问题。

我认为 Leaky ReLU 的主要缺点是您需要调整另一个参数，即斜率。但我指出，这实际上取决于您的问题，哪个功能效果更好。

关于deep-learning - Leaky-ReLU 的缺点是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56287870/

26

4

0

文章推荐： c - Valgrind "Invalide write of size 1"

文章推荐： amazon-web-services - AWS AppSync 仅在连接查询时返回 10 个项目

文章推荐： socket.io - 无效 session / session 已断开

css -/deep/::ng-deep 之间有什么区别？
你能告诉我，下面两种 scss 样式之间的区别吗？我对此没有清楚的认识。 :host { display: inline-block; /deep/ { span { co
css -/deep/OR::ng-deep 的长期替代方案是什么？
/deep/和::ng-deep 这些在 DOM 模式下也被弃用了，我想知道将来是否会有/deep/和::ng-deep 的替代方案，或者我们应该开始使用其他方式？ ::ng-deep .result
angular - 在不使用::ng-deep、/deep/或 >>> 组合器的情况下设置第三方组件样式的正确方法是什么？
长期以来，我一直在寻找这个问题的明确答案。是否有可靠且推荐的替代策略来执行此操作？此问题的不正确答案包括: Just favor ::ng-deep for now 和 if component au
deep-learning - 什么是更好的选择 : A wide neural network or a deep neural network?
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭 2 年前。 Improve this qu
deep-learning - Deepmind Deep Q Network (DQN) 3D 卷积
我正在阅读 DQN 网络上的 deepmind 自然论文。我几乎得到了关于它的一切，除了一个。我不知道为什么以前没有人问过这个问题，但无论如何对我来说似乎有点奇怪。我的问题: DQN 的输入是一个
deep-linking - Jetpack 撰写 : Bottom bar navigation not responding after deep-linking
我在我的新 Jetpack Compose 应用程序中设置了一个底栏，其中包含 2 个目的地。我尝试遵循 Google 的示例。例如它看起来像这样: @Composable fun MyBottom
css - 如何在 Vue.js 中使用/deep/或 >>> 或::v-deep？
所以，我读过 here在 Vue.js 中，您可以在选择器中使用 /deep/ 或 >>> 来创建适用于子组件内部元素的样式规则。但是，尝试在我的样式中使用它，无论是在 SCSS 中还是在普通的旧 C
python - 为什么我的 Deep Q Net 和 Double Deep Q Net 不稳定？
我正在尝试实现DQN和DDQN(两者都有经验回复)来解决OpenAI AI-Gym Cartpole环境。这两种方法有时都能学习并解决这个问题，但并非总是如此。我的网络只是一个前馈网络(我尝试过使用
angular - :host::ng-deep .class 和 .class :host::ng-deep 之间的区别？
scss中下面两个有什么区别，在片段中给出一些例子。 :host::ng-deep .content-body { ... } 和 .content-body :host::ng-deep { ...
css - SonarQube -::ng-deep 收到错误为 "Unexpected unknown pseudo-element selector::ng-deep"
在我们的元素中，我们使用了 Angular Material 进行开发。我们已经覆盖了使用::ng-deep 的 Angular Material 样式自定义 CSS 属性。在使用::ng-dee
python - 为什么我的 Deep Q Network 没有掌握一个简单的 Gridworld (Tensorflow)？ (如何评估 Deep-Q-Net)
我尝试熟悉 Q-learning 和深度神经网络，目前尝试实现 Playing Atari with Deep Reinforcement Learning . 为了测试我的实现并尝试使用它，我坚持尝
css - 不推荐使用 Vue 3::v-deep 作为组合器。使用::v-deep() 代替
我开始在 Vue 3 中收到以下警告 ::v-deep用法。 ::v-deep usage as a combinator has been deprecated. Use ::v-deep() in
python Pandas DataFrame 复制(deep=False)vs 复制(deep=True)vs '='
谁能给我解释一下 df2 = df1 df2 = df1.copy() df3 = df1.copy(deep=False) 我已经尝试了所有选项并执行了以下操作: df1 = pd.DataFram
deep-learning - 如何在pytorch中正确使用分布式数据并行
我对 PyTorch 比较陌生，但我对 Keras 和 TensorFlow 有很好的经验。我关注了这个article在我自己的训练脚本中使用 DDP。然而，出于某种原因，我总是最终得到: proce
deep-learning - pytorch中的Dropconnect实现
我正在尝试为 Conv2D 和 transposeconv2D 层编写 dropconnect 代码。按照 https://pytorchnlp.readthedocs.io/en/latest/_m
deep-learning - yolov5输出的解读
我正在做一个 mask 检测项目，我使用 ultralytics/yolov5 训练了我的模型。我将训练好的模型保存为一个 onnx 文件，你可以在这里找到模型文件 model.onnx .现在我希望
deep-learning - 在健身房自定义环境中定义观察空间时出错
我正在研究一种强化算法，我对此很陌生，并试图掌握一些东西。 Player1Env 查看 7x6 Connect4 游戏网格。我按如下方式初始化类: def __init__(self): su
deep-learning - 简单的加权嵌入网络
我有几个嵌入矩阵，假设 E1 矩阵用于 Glove，E2 用于 Word2vec。我想构建一个简单的情感分类器，它采用该嵌入的可训练加权和。例如，对于单词“dog”，我想在学习 x 和 y 时得到
deep-learning - 我怎样才能摆脱深度学习中卡住的准确性和损失值？
我正在使用它处理深度学习和医学图像分类。我使用大脑 MRI 数据并将它们转换为 jpg。然后使用 VGG16 进行训练。当我检查损失、准确性、验证损失和验证准确性时，我看到了下图。 accuracy
deep-learning - 我们如何计算包含转置卷积层的网络的感受野？
我设计的网络包括转置卷积层。(pytorch 中的 ConvTranspose2d) 我想获得网络的感受野大小。感受野的概念是否也适用于转置卷积层？如果是，那我怎样才能得到它？最佳答案您可以使

首页

博学

6Ren·AI

商城

deep-learning - Leaky-ReLU 的缺点是什么？