gpt4 book ai didi

machine-learning - ReLU 可以处理负输入吗?

转载 作者:行者123 更新时间:2023-11-30 08:23:11 25 4
gpt4 key购买 nike

我正在根据负值和正值的数据训练神经网络。

有没有什么方法可以将数据输入 ReLU 网络,而不将其全部转换为正数,并且有一个单独的输入来表示数据是负数还是正数?

我看到的问题是,输入层的负输入意味着除非您将权重初始化为负,否则 ReLU 节点永远不会激活并且永远死亡。

最佳答案

我并不是 100% 确定你在问什么,因为有很多激活函数,你可以轻松编写自己的代码。如果您不想编写自己的代码,也许可以尝试一些替代方法:

ReLU 泄漏

enter image description here

参数化 ReLU

enter image description here

基本上看看here enter image description here

关于machine-learning - ReLU 可以处理负输入吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43369714/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com