r - 将线性混合模型拟合到非常大的数据集

Question

我想在以下格式的 60M 观察值上运行混合模型(使用 lme4::lmer)；除了连续因变量 tc 之外，所有预测变量/因变量都是分类(因子) ; patient是随机截距项的分组变量。我有 64 位 R 和 16Gb RAM，我在中央服务器上工作。 RStudio 是最新的服务器版本。

model <- lmer(tc~sex+age+lho+atc+(1|patient),
              data=master,REML=TRUE)

lho sex tc      age         atc patient
18  M   16.61   45-54       H   628143
7   F   10.52   12-15       G   2013855
30  M   92.73   35-44       N   2657693
19  M   24.92   70-74       G   2420965
12  F   17.44   65-69       A   2833610
31  F   7.03    75 and over A   1090322
3   F   28.59   70-74       A   2718649
29  F   4.09    75 and over C   384578
16  F   67.22   65-69       R   1579355
23  F   7.7     70-74       C   896374

我收到了 cannot allocate a vector of 25.5Gb错误。我在服务器上分配了 40Gb 并且正在使用 25 所以我想这意味着我需要另外 10 个左右。我不认为我可以分配任何额外的空间。

我不知道关于并行处理的第一件事，只是我目前正在使用四个内核中的一个。谁能建议这个模型的并行代码，或者可能是不同的修复？

Answer 1

正如 Carl Witthoft 所指出的，R 中的标准并行化工具使用共享内存模型，因此它们只会让事情变得更糟而不是更好(它们的主要目的是通过使用多个处理器来加速计算密集型作业)。

在短期内，您可以通过将分类固定效应预测变量(age、atc)视为随机效应但强制它们的方差很大来节省一些内存。我不知道这是否足以拯救你；它将大量压缩固定效应模型矩阵，但模型框架仍将与模型对象一起存储/复制...

dd1 <- read.table(header=TRUE,
text="lho sex tc      age         atc patient
18  M   16.61   45-54       H   628143
7   F   10.52   12-15       G   2013855
30  M   92.73   35-44       N   2657693
19  M   24.92   70-74       G   2420965
12  F   17.44   65-69       A   2833610
31  F   7.03    75_and_over A   1090322
3   F   28.59   70-74       A   2718649
29  F   4.09    75_and_over C   384578
16  F   67.22   65-69       R   1579355
23  F   7.7     70-74       C   896374")
n <- 1e5
set.seed(101)
dd2 <- with(dd1,
      data.frame(tc=rnorm(n,mean=mean(tc),sd=sd(tc)),
                 lho=round(runif(n,min=min(lho),max=max(lho))),
                 sex=sample(levels(sex),size=n,replace=TRUE),
                 age=sample(levels(age),size=n,replace=TRUE),
                 atc=sample(levels(atc),size=n,replace=TRUE),
                 patient=sample(1:1000,size=n,replace=TRUE)))
library("lme4")
m1 <- lmer(tc~sex+(1|lho)+(1|age)+(1|atc)+(1|patient),
           data=dd2,REML=TRUE)

随机效果自动按从大到小排序
到最少的级别。遵循所描述的机械
在 ?modular帮助页面:

lmod <- lFormula(tc~sex+(1|lho)+(1|age)+(1|atc)+(1|patient),
                  data=dd2,REML=TRUE)
names(lmod$reTrms$cnms)  ## ordering
devfun <- do.call(mkLmerDevfun, lmod)
wrapfun <- function(tt,bigsd=1000) {
    devfun(c(tt,rep(bigsd,3)))
}
wrapfun(1)
opt <- optim(fn=wrapfun,par=1,method="Brent",lower=0,upper=1000)
opt$fval <- opt$value  ## rename/copy
res <- mkMerMod(environment(devfun), opt, lmod$reTrms, fr=lmod$fr)
res

您可以忽略分类术语的报告差异，并使用 ranef()恢复他们的(未收缩的)估计。

从长远来看，解决这个问题的正确方法可能是将其与分布式内存模型并行化。换句话说，您希望将数据分 block 打包到不同的服务器；使用 ?modular 中描述的机器建立一个似然函数(实际上是一个 REML 标准函数)，该函数给出数据子集的 REML 标准作为参数的函数；然后运行一个中央优化器，它采用一组参数并通过将参数提交到每个服务器、从每个服务器检索值并添加它们来评估 REML 标准。我在实现这一点时看到的唯一两个问题是 (1) 我实际上并不知道如何在 R 中实现分布式内存计算(基于 this intro document 似乎 Rmpi/ doMPI 包可能是正确的要走的路)； (2) 默认方式为 lmer实现后，固定效应参数被分析出来，而不是明确地成为参数向量的一部分。