r - 约束 Newton-Raphson 估计

Question

我正在尝试在 R 中使用 Newton-Raphson 算法来最小化我为一个非常具体的问题编写的对数似然函数。老实说，估计方法超出了我的能力范围，但我知道我的领域(心理测量学)中有很多人使用 NR 算法进行估计，所以我正在尝试使用这种方法，至少在开始时是这样。我有一系列嵌套函数，它们返回标量作为特定数据向量的对数似然估计:

log.likelihoodSL <- function(x,sxdat1,item) {
  theta <- x[1]
  rho <- x[2]
  log.lik <- 0
  for (it in 1:length(sxdat1)) {
    val <- as.numeric(sxdat1[it])
    apars <- item[it,1:3]
    cpars <- item[it,4:6]
    log.lik <- log.lik + as.numeric(log.pSL(theta,rho,apars,cpars,val))
  }
  return(log.lik)
}

log.pSL <- function(theta,rho,apars,cpars,val) {
  p <- (rho * e.aSL(theta,apars,cpars,val)) + ((1-rho) * e.nrm(theta,apars,cpars,val))
  log.p <- log(p)
  return(log.p)
}

e.aSL <- function(theta,apars,cpars,val) {
  if (val==1) {
    aprob <- e.nrm(theta,apars,cpars,val)
  } else if (val==2) {
    aprob <- 1 - e.nrm(theta,apars,cpars,val)
  } else
    aprob <- 0
  return(aprob)
}

e.nrm <- function(theta,apars,cpars,val) {
  nprob <- exp(apars*theta + cpars)/sum(exp((apars*theta) + cpars))
  nprob <- nprob[val]
  return(nprob)
}

这些函数都按照显示的顺序依次调用彼此。最高层函数的调用如下:

max1 <- maxNR(log.likelihoodSL,grad=NULL,hess=NULL,start=x,print.level=1,sxdat1=sxdat1,item=item)

这是输入数据的示例(在本例中我将其称为sxdat1):

> sxdat1
 V1  V2  V3  V4  V5  V6  V7  V8  V9 V10 V11 V12 V13 V14 V15 V16 V17 V18 
  2   1   3   1   3   3   2   2   3   2   2   2   2   2   3   2   3   2 
V19 V20 
  2   2 

这是变量item:

> item
             V1        V2         V3           V4         V5        V6
 [1,] 0.2494625 0.3785529 -0.6280155 -0.096817808 -0.7549263 0.8517441
 [2,] 0.2023690 0.4582290 -0.6605980 -0.191895013 -0.8391203 1.0310153
 [3,] 0.2044005 0.3019147 -0.5063152 -0.073135691 -0.6061725 0.6793082
 [4,] 0.2233619 0.4371988 -0.6605607 -0.160377714 -0.8233197 0.9836974
 [5,] 0.2257933 0.2851198 -0.5109131 -0.044494872 -0.5970246 0.6415195
 [6,] 0.2047308 0.3438725 -0.5486033 -0.104356236 -0.6693569 0.7737131
 [7,] 0.3402220 0.2724951 -0.6127172  0.050795183 -0.6639092 0.6131140
 [8,] 0.2513672 0.3263046 -0.5776718 -0.056203015 -0.6779823 0.7341853
 [9,] 0.2008285 0.3389165 -0.5397450 -0.103565987 -0.6589961 0.7625621
[10,] 0.2890680 0.2700661 -0.5591341  0.014251386 -0.6219001 0.6076488
[11,] 0.3127214 0.2572715 -0.5699929  0.041587479 -0.6204483 0.5788608
[12,] 0.2697048 0.2965255 -0.5662303 -0.020115553 -0.6470669 0.6671825
[13,] 0.2799978 0.3219374 -0.6019352 -0.031454750 -0.6929045 0.7243592
[14,] 0.2773233 0.2822723 -0.5595956 -0.003711768 -0.6314010 0.6351127
[15,] 0.2433519 0.2632824 -0.5066342 -0.014947878 -0.5774375 0.5923853
[16,] 0.2947281 0.3605812 -0.6553092 -0.049389825 -0.7619178 0.8113076
[17,] 0.2290081 0.3114185 -0.5404266 -0.061807853 -0.6388839 0.7006917
[18,] 0.3824588 0.2543871 -0.6368459  0.096053788 -0.6684247 0.5723709
[19,] 0.2405821 0.3903595 -0.6309416 -0.112333048 -0.7659758 0.8783089
[20,] 0.2424331 0.3028480 -0.5452811 -0.045311136 -0.6360968 0.6814080

我想要最小化函数 log.likelihood() 的两个参数是 theta 和 rho，我想将 theta 限制在 -3 和 3 之间，将 rho 限制在之间0 和 1，但我不知道如何使用当前的设置来做到这一点。有人可以帮我吗？我是否需要使用与 Newton-Raphson 方法不同的估计方法，或者有没有办法使用函数 maxNR 来实现此方法，该函数来自包 maxLik，我目前正在使用？谢谢!

编辑:向量x包含参数theta和rho的起始值，只是c(0,0)，因为这是“平均值”或这些参数的“默认”假设(就其实质性解释而言)。

Answer 1

更方便的数据形式:

sxdat1 <- c(2,1,3,1,3,3,2,2,3,2,2,2,2,2,3,2,3,2,2,2)
item <- matrix(c(
0.2494625,0.3785529,-0.6280155,-0.096817808,-0.7549263,0.8517441,
0.2023690,0.4582290,-0.6605980,-0.191895013,-0.8391203,1.0310153,
0.2044005,0.3019147,-0.5063152,-0.073135691,-0.6061725,0.6793082,
0.2233619,0.4371988,-0.6605607,-0.160377714,-0.8233197,0.9836974,
0.2257933,0.2851198,-0.5109131,-0.044494872,-0.5970246,0.6415195,
0.2047308,0.3438725,-0.5486033,-0.104356236,-0.6693569,0.7737131,
0.3402220,0.2724951,-0.6127172,0.050795183,-0.6639092,0.6131140,
0.2513672,0.3263046,-0.5776718,-0.056203015,-0.6779823,0.7341853,
0.2008285,0.3389165,-0.5397450,-0.103565987,-0.6589961,0.7625621,
0.2890680,0.2700661,-0.5591341,0.014251386,-0.6219001,0.6076488,
0.3127214,0.2572715,-0.5699929,0.041587479,-0.6204483,0.5788608,
0.2697048,0.2965255,-0.5662303,-0.020115553,-0.6470669,0.6671825,
0.2799978,0.3219374,-0.6019352,-0.031454750,-0.6929045,0.7243592,
0.2773233,0.2822723,-0.5595956,-0.003711768,-0.6314010,0.6351127,
0.2433519,0.2632824,-0.5066342,-0.014947878,-0.5774375,0.5923853,
0.2947281,0.3605812,-0.6553092,-0.049389825,-0.7619178,0.8113076,
0.2290081,0.3114185,-0.5404266,-0.061807853,-0.6388839,0.7006917,
0.3824588,0.2543871,-0.6368459,0.096053788,-0.6684247,0.5723709,
0.2405821,0.3903595,-0.6309416,-0.112333048,-0.7659758,0.8783089,
0.2424331,0.3028480,-0.5452811,-0.045311136,-0.6360968,0.6814080),
               byrow=TRUE,ncol=6)

使用maxNR :

library(maxLik)
x <- c(0,0)
max1 <- maxNR(log.likelihoodSL,grad=NULL,hess=NULL,start=x,
              print.level=1,sxdat1=sxdat1,item=item)

注意 rho 时发生的警告消极徘徊。然而，maxNR可以恢复由此得出一个估计值 (theta=-1, rho=0.63)，该值位于 的内部可行集。 L-BFGS-B无法处理非有限的临时结果，但边界让算法远离那些有问题的区域。

我选择使用 bbmle 来执行此操作而不是 optim :bbmle是 optim 的包装(以及其他优化工具)，它提供了一些特定于似然估计的好功能(分析、置信区间、模型之间的似然比测试等)。

library(bbmle)

## mle2() wants a NEGATIVE log-likelihood
NLL <- function(x,sxdat1,item) {
    -log.likelihoodSL(x,sxdat1,item)
}

编辑:在早期版本中我使用 control=list(fnscale=-1)告诉优化器我正在传递一个应该最大化而不是最小化的对数似然函数；这得到了正确的答案，但随后尝试使用结果可能会变得非常困惑，因为该包没有考虑这种可能性(例如，报告的对数似然的符号是错误的)。这可以在包中修复，但我不确定它是否值得。

## needed when objective function takes a vector of args rather than
##  separate named arguments:
parnames(NLL) <- c("theta","rho")
(m1 <- mle2(NLL,start=c(theta=0,rho=0.5),method="L-BFGS-B",
     lower=c(theta=-3,rho=2e-3),upper=c(theta=3,rho=1-2e-3),
     data=list(sxdat1=sxdat1,item=item)))

这里有几点:

• 开始于 rho=0.5而不是在边界上
• 设置 rho边界稍微在 [0,1] 之内(L-BFGS-B 在计算导数的有限差分近似时并不总是完全遵守边界)
• 指定 data 中的输入数据论点

在这种情况下，我得到与 maxNR 相同的结果.

 ## Call:
 ## mle2(minuslogl = NLL, start = c(theta = 0, rho = 0.5), 
 ##     method = "L-BFGS-B", data = list(sxdat1 = sxdat1, item = item), 
 ##     lower = c(theta = -3, rho = 0.002), upper = c(theta = 3, 
 ##         rho = 1 - 0.002), control = list(fnscale = -1))
 ## 
 ## Coefficients:
 ##      theta        rho 
 ## -1.0038531  0.6352782 
 ## 
 ## Log-likelihood: -18.11 

除非您确实迫切需要使用牛顿拉夫森而不是基于梯度的“拟牛顿”方法来完成此操作，否则我猜这已经足够好了。 (听起来你没有强有力的技术理由这样做，除了“这就是我所在领域的其他人所做的”——一个很好的理由，所有其他条件都相同，但在这种情况下还不足以让我挖掘当类似的方法很容易获得并且工作正常时，就可以实现 N-R。)