r - 如何消除bigglm中的 “NA/NaN/Inf in foreign function call (arg 3)”

Question

我是 R 的新手，我正在做一些逻辑回归模型。我正在尝试对包含 100 多个变量的 200 万条记录的数据运行 bigglm。我的变量由数字和整数 (0/1) 组成，因为我已将其设置为指标，例如

isOK,quantity,weight,isUS,isEU,isASIA
0,2,1.1,0,0,1
1,1,0.9,1,1,0

但是，bigglm 总是抛出错误

Error in coef.bigqr(object$qr) : NA/NaN/Inf in foreign function call (arg 3)

从 traceback()，它显示了以下内容

14: coef.bigqr(object$qr)
13: coef(object$qr)
12: coef.biglm(iwlm)
11: coef(iwlm)
10: bigglm.function(formula = formula, data = datafun, ...)
9: bigglm(formula = formula, data = datafun, ...)
8: bigglm(formula = formula, data = datafun, ...)
7: bigglm.data.frame(myForm, data = myraw.data[i, , drop = FALSE], 
   family = binomial(link = logit))
6: bigglm(myForm, data = myraw.data[i, , drop = FALSE], family = binomial(link = logit))
5: bigglm(myForm, data = myraw.data[i, , drop = FALSE], family = binomial(link = logit)) at trial.r#48
4: eval(ei, envir)
3: eval(ei, envir)
2: withVisible(eval(ei, envir))
1: source("trial.r")

我做了一些研究，有人提到 bigglm 应该在块中包含所有可能的值/因素，但是，我所有的变量都是数字/指标，我认为这没有必要(如果我弄错了，请纠正我)。无论如何，我已经以这样的方式重新排列了我的数据集，即第一个块(对于我的情况，我将其设置为 3000 如下)，所有整数变量都有记录为 0 或 1。

for (i in chunk(myraw.data, by=3000)){
  if (i[1]==1){
      myFullLRModel <- bigglm(myForm, data=myraw.data[i,,drop=FALSE], family=binomial(link=logit))
  }else{
      myFullLRModel <- update(myFullLRModel, myraw.data[i,,drop=FALSE])
  }
}

您能否就上述错误发生的原因提出建议？我无法运行 glm，因为它总是返回不足的内存。

Answer 1

如果您有 0/1 变量并且在一个块中没有观察到零(即该列是常量)，这将导致 NA系数，这可能会产生您面临的问题。