r - 使用神经网络功能时出现错误

Question

我在可用的波士顿数据集上尝试了 R 中的神经网络。

data("Boston",package="MASS") 
data <- Boston

仅保留我们想要使用的变量:

keeps <- c("crim", "indus", "nox", "rm" , "age", "dis", "tax" ,"ptratio", "lstat" ,"medv" ) 
data <- data[keeps]

在本例中，公式存储在名为 f 的 R 对象中。响应变量 medv 将针对其余九个属性进行“回归”。我已经这样做了，如下:

f <- medv ~ crim + indus + nox + rm + age + dis + tax + ptratio + lstat

设置训练样本，使用样本方法收集506行数据中的400个无放回数据:

set.seed(2016) 
n = nrow(data) 
train <- sample(1:n, 400, FALSE)

拟合了R的神经网络函数。

library(neuralnet)
fit<- neuralnet(f, data = data[train ,], hidden=c(10 ,12 ,20), 
                 algorithm = "rprop+", err.fct = "sse", act.fct = "logistic", 
                 threshold =0.1, linear.output=TRUE)

但是显示警告消息，因为算法未收敛。

警告消息:算法在最大步长内 1 次重复中的 1 次未收敛

尝试使用计算进行预测，

 pred <- compute(fit,data[-train, 1:9])

显示以下错误消息

Error in nrow[w] * ncol[w] : non-numeric argument to binary operator
In addition: Warning message:
In is.na(weights) : is.na() applied to non-(list or vector) of type 'NULL'

为什么会出现错误以及如何从中恢复以进行预测。我想在该数据集上使用神经网络函数。

Answer 1

当neuralnet不收敛时，生成的神经网络是不完整的。您可以通过调用 attributes(fit)$names 来判断。当训练收敛时，它将如下所示:

 [1] "call"                "response"            "covariate"           "model.list"          "err.fct"  
 [6] "act.fct"             "linear.output"       "data"                "net.result"          "weights"  
[11] "startweights"        "generalized.weights" "result.matrix"

如果不这样做，某些属性将不会被定义:

[1] "call"          "response"      "covariate"     "model.list"    "err.fct"       "act.fct"       "linear.output"
[8] "data"   

这解释了为什么计算不起作用。

当训练不收敛时，第一个可能的解决方案可能是增加 stepmax(默认 100000)。您还可以添加 lifesign = "full"，以更好地了解训练过程。

另外，看看你的代码，我会说具有 10、12 和 20 个神经元的三层太多了。我将从一层开始，其神经元数量与输入数量相同，在您的例子中为 9。

编辑:

通过缩放(记住缩放训练和测试数据，并“缩小”计算结果)，它收敛得更快。另请注意，我减少了层数和神经元数量，但仍然降低了错误阈值。

data("Boston",package="MASS") 
data <- Boston

keeps <- c("crim", "indus", "nox", "rm" , "age", "dis", "tax" ,"ptratio", "lstat" ,"medv" ) 
data <- data[keeps]

f <- medv ~ crim + indus + nox + rm + age + dis + tax + ptratio + lstat

set.seed(2016) 
n = nrow(data) 
train <- sample(1:n, 400, FALSE)

# Scale data. Scaling parameters are stored in this matrix for later.
scaledData <- scale(data)

fit<- neuralnet::neuralnet(f, data = scaledData[train ,], hidden=9, 
                algorithm = "rprop+", err.fct = "sse", act.fct = "logistic", 
                threshold = 0.01, linear.output=TRUE, lifesign = "full")

pred <- neuralnet::compute(fit,scaledData[-train, 1:9])

scaledResults <- pred$net.result * attr(scaledData, "scaled:scale")["medv"] 
                                 + attr(scaledData, "scaled:center")["medv"]

cleanOutput <- data.frame(Actual = data$medv[-train], 
                          Prediction = scaledResults, 
                          diff = abs(scaledResults - data$medv[-train]))

# Show some results
summary(cleanOutput)