r - gradDescent 包和 lm 函数不同

Question

我对 gradDescent package 有理解上的问题在 R 中。假设我有一个包含一个自变量的数据集，我想对该数据运行简单的线性回归，并使用批量梯度下降 (GD) 算法估计模型及其参数。

例如，我正在使用 here 中给出的数据集.第一列是自变量 (X)，第二列是因变量 (Y)。

我为批量梯度下降算法编写了自己的 R 代码。我使用的学习率为 0.01，迭代次数为 1500。估计模型为 y = -3.630291 + 1.166362 x。参数的初始值均选择为1。

我还想检查我的代码是否正常工作。我使用 R 内置函数 lm 包进行比较。参数非常接近R中线性回归函数给出的结果。所以在这种情况下我们的梯度下降算法得到的线性回归模型是y=-3.896 + 1.193 x。

然而，最近，我发现了一个 R 包 gradDescent，我想看看它是如何工作的。使用相同的学习率和最大迭代次数，我得到了模型 y=-1.229567+0.9257195x 的结果(这些值每次运行时都会改变，因为我设置了 seed=NULL)。

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
    #convert data.frame dataSet in matrix
    dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
    #shuffle data train
    set.seed(seed)
    dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
    set.seed(NULL)
    #initialize theta
    theta <- getTheta(ncol(dataTrain), seed=seed)
    #bind 1 column to dataTrain
    dataTrain <- cbind(1, dataTrain)
    #parse dataTrain into input and output
    inputData <- dataTrain[,1:ncol(dataTrain)-1]
    outputData <- dataTrain[,ncol(dataTrain)]
    #temporary variables
    temporaryTheta <- matrix(ncol=length(theta), nrow=1)
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #constant variables
    rowLength <- nrow(dataTrain)
    #loop the gradient descent
    for(iteration in 1:maxIter){
        error <- (inputData %*% t(theta)) - outputData
        for(column in 1:length(theta)){
            term <- error * inputData[,column]
            #calculate gradient
            gradient <- sum(term) / rowLength
            updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
            temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
        }
        #update all theta in the current iteration
        theta <- temporaryTheta
    }
    result <- theta
    return(result)
}

这里，getTheta 函数给出为，

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
    #create static random
    set.seed(seed)
    #random a value
    thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
    #clear static random
    set.seed(seed)
    #transform into matrix
result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
    return(result)
}

包随机选择初始值。此外，它在运行 GD 算法之前对数据进行混洗。我玩了一会儿。我将参数的初始值指定为 1s，并停止对数据进行洗牌。但是，我无法认真理解哪里出了问题(或正确)，这是我无法使用自己的 GD 代码和 R 的 lm 函数得到相同结果的原因。请有人关心解释一下？

install.packages("gradDescent")
library(gradDescent)

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

########## gradDescent Function ########## 
GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
#          [,1]      [,2]
#[1,] -1.312882 0.9281769

########## R bulit-in function ########## 
model <- lm(data$V2~ ., data = data)
model
#Call:
#  lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
#  (Intercept)           V1  
#       -3.896        1.193  

注意:我可以提供我写的内容，但基本上，我试图理解为什么这个包比 lm 包提供更多不同的参数估计。

编辑:是因为代码中的那一行吗？

updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)

当第二个循环 (for(column in 1:length(theta))) 结束时，代码不会重置 updateRule 矩阵，而是继续将 (alpha*gradient) 添加到每次迭代中的矩阵。我错了吗？

当我在迭代中找到参数更新后将此 updateRule 矩阵重置为零时，我得到的模型 y = -3.570819 +1.160388 x 非常接近我所拥有的和 lm 包提供的模型。

---

编辑 2我原来的帖子中提到了那个 gradDescent 包有什么问题。 updateRule 矩阵没有被重置。我只是在循环中添加了一行代码，并没有改变任何其他内容。 getTheta 和 GD 函数与作者发布的包相同。

我举两个例子来纠正一下。我使用的第一个数据集是一个自变量，第二个数据集是两个自变量。对于这两个示例，我都使用随机生成的首字母，这是包中的想法。对于第二个示例，我将数据归一化，因为输入变量存在数量级差异。房屋面积(大小)大约是卧室数量的 1000 倍。

示例 1

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column]
      #calculate gradient
      gradient <- sum(term) / rowLength
      updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
#          [,1]    [,2]
#[1,] -3.602297 1.16355

########## R built-in lm function ########## 
model <- lm(data$V2~ ., data = data)
model
#Call:
#  lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
#  (Intercept)           V1  
#       -3.896        1.193  

示例 2

data <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
                 header = TRUE, 
                 sep = "," )

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column]
      #calculate gradient
      gradient <- sum(term) / rowLength
      updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    updateRule <- matrix(0, ncol=length(theta), nrow=1)
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

GD(data, alpha = 0.05, maxIter = 500, seed = NULL)
#         [,1]   [,2]      [,3]
#[1,] 340412.7 110630 -6648.375

########## R built-in lm function ########## 
housing <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
                 header = TRUE, 
                 sep = "," )

normalized <- apply(housing[ , -3 ], 2, scale)
normalized_data <- data.frame(cbind(normalized, price = housing$price))
model <- lm( price ~ ., data = normalized_data)
model

#Call:
#  lm(formula = price ~ ., data = normalized_data)
#
#Coefficients:
#  (Intercept)         area     bedrooms  
#       340413       110631        -6649  

Answer 1

我认为你是对的。我认为 updateRule 这行就像一个动力。即，当前迭代中的变化方向(部分)保留在下一次迭代中。但是你不应该添加新的渐变，而是你的 updateRule 衰减，这样过去任何错误的方向都会随着迭代的进行而被冲走。

下面，我只更改了你的函数的一行。更新 updateRule 时，我将它乘以 0.2。 0 和 1 之间的任何值都可以(但必须严格小于 1)。

另外，我增加了迭代次数。在我的系统中，我得到了:

##              [,1]     [,2]
##    [1,] -3.895781 1.193034

这与 lm 结果非常相似。

GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
  #convert data.frame dataSet in matrix
  dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
  #shuffle data train
  set.seed(seed)
  dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
  set.seed(NULL)
  #initialize theta
  theta <- getTheta(ncol(dataTrain), seed=seed)
  #bind 1 column to dataTrain
  dataTrain <- cbind(1, dataTrain)
  #parse dataTrain into input and output
  inputData <- dataTrain[,1:ncol(dataTrain)-1]
  outputData <- dataTrain[,ncol(dataTrain)]
  #temporary variables
  temporaryTheta <- matrix(ncol=length(theta), nrow=1)
  updateRule <- matrix(0, ncol=length(theta), nrow=1)
  #constant variables
  rowLength <- nrow(dataTrain)
  #loop the gradient descent
  for(iteration in 1:maxIter){
    error <- (inputData %*% t(theta)) - outputData
    for(column in 1:length(theta)){
      term <- error * inputData[,column] 
      #calculate gradient
      gradient <- sum(term) / rowLength
      #updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
      updateRule[1,column] <- 0.2*updateRule[1,column] + (alpha*gradient)
      temporaryTheta[1,column] = theta[1,column] - updateRule[1,column] 
    }
    #update all theta in the current iteration
    theta <- temporaryTheta
  }
  result <- theta
  return(result)
}

getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
  #create static random
  set.seed(seed)
  #random a value
  thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
  #clear static random
  set.seed(seed)
  #transform into matrix
  result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
  return(result)
}

#install.packages("gradDescent")
library(gradDescent)

URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")

########## gradDescent Function ########## 
GD(data, alpha = 0.01, maxIter = 15000, seed = 1)


########## R bulit-in function ########## 
model <- lm(data$V2~ ., data = data)
model