R 中带有神经网络包的 ReLU 激活函数

Question

由于neuralnet包没有ReLU功能，所以我尝试写ReLU功能的代码。但是有一个错误我不明白。请在下面查看我的代码和错误信息。

relu<-function(x){ifelse(x>=0,x,0)}
nn <- neuralnet(y~a+b+c+d+e+f,data=train,hidden=c(5),linear.output=T,act.fct = relu)

deriv.formula(eval(parse(text = text)), "x", func = eval(parse(text = text2)) 错误:函数 'ifelse' 不在导数表中

Answer 1

ReLU 可以在 sigmoid 包中找到。添加使用的激活函数需要是微分函数。

ReLU 的几个简单实现

relu <- function(x) {x * (x>=0)}
relu <- function(x) {max(0,x)}