r - 否则如果循环在 R 中运行非常缓慢

Question

我正在执行一个研究项目，研究使某人更有可能投票的因素，重点是人们离投票站的距离。我有数百万人的完整选民登记和选民历史。有人可以通过多种方式投票(亲自投票、缺席投票、提前投票或临时投票)或不投票(未登记、登记但未投票或没有投票资格)。我的数据带有一列 (29)，用于说明某人在给定选举中的投票情况。 NULL 表示未注册，V 表示亲自等。

对于回归分析，我想为每个选民类型创建一个不同的列(1 表示是，0 表示否，列号 68-74)和另一个 1/0 列(编号 75)，表示是否有人投票。我在下面编写的代码应该可以解决问题，但它在我的计算机上运行得非常慢，一个小时后甚至无法到达第 1000 行。它工作得很好，除了速度。我已获准使用我大学的 super 计算机*，但我想找出更快的算法。我的笔记本电脑和 super 计算机*上都有 R 和 STATA，我很乐意使用它们。

dcv.new <- read.csv("VoterHist.csv", header=TRUE)
# I previously set columns 68-75 to default to 0
for(i in 1:nrow(dcv.new))
{
  if(is.na(dcv.new[i,29]))
  {
    dcv.new[i,69] <- 1
  }
  else if(dcv.new[i,29]=="V")
  {
    dcv.new[i,68] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="A")
  {
    dcv.new[i,70] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="N")
  {
    dcv.new[i,71] <- 1
  }
  else if(dcv.new[i,29]=="E")
  {
    dcv.new[i,72] <- 1
  }
  else if(dcv.new[i,29]=="Y")
  {
    dcv.new[i,73] <- 1
  }
  else if(dcv.new[i,29]=="P")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="X")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
}

*从技术上讲，“高性能计算集群”，但老实说， super 计算机听起来更酷。

Answer 1

R 主要是向量化的，所以寻找向量化操作来代替循环。在这种情况下，您可以矢量化每个操作，使其适用于整个矩阵而不是单个行。

这是您的 if 的前三个else声明:

dcv.new[is.na(dcv.new[,29]), 69] <- 1
dcv.new[dcv.new[,29]=="V", c(68,75)] <- 1
dcv.new[dcv.new[,29]=="A", c(70,75)] <- 1
....

你应该明白了。

一些解释:

我们正在做的是从 dcv.new 的某些列中选择行满足条件(例如 == "V" )，然后我们分配值 1到 dcv.new 的每个选定元素在一次操作中。 R 回收 1我们分配的长度与填充所有选定元素所需的长度相同。

请注意我们如何一次选择多个列进行更新: dcv.new[x , c(68,75)]更新第 68 和 75 列的行 x只有，哪里 x是一个逻辑向量，索引我们需要更新的行。逻辑向量由类似 dcv.new[,29]=="V" 的语句生成。 .这些返回 TRUE如果 dcv.new[,29] 的元素等于 "V"和 FALSE如果不。

然而...!

在回归的情况下，我们可以让R为我们制作虚拟变量矩阵，我们不需要手工完成。说专栏 dcv.new[, 29]被命名 voterType .如果我们强制它成为一个因素

dcv.new <- transform(dcv.new, voterType = factor(voterType))

当我们使用公式符号拟合模型时，我们可以:

mod <- lm(response ~ voterType, data = dcv.new)

和 R 将创建适当的对比，使 voterType使用正确的自由度。默认情况下，R 使用因子的第一水平作为基准水平，因此模型系数表示与该引用水平的偏差。查看 voterType 的引用电平是多少将其转换为因子后做

with(dcv.new, levels(voterType)[1])

请注意，大多数采用公式的建模函数(如上所示)的工作方式如下所示。您不限于 lm()楷模。

这是一个小例子

set.seed(42)
dcv.new <- data.frame(response = rnorm(20),
                      voterType = sample(c("V","A","N","E","Y","P","X",NA), 20, 
                                         replace = TRUE))
head(dcv.new)

> head(dcv.new)
    response voterType
1  1.3709584         E
2 -0.5646982         E
3  0.3631284         V
4  0.6328626      <NA>
5  0.4042683         E
6 -0.1061245      <NA>

然后可以将模型拟合为

mod <- lm(response ~ voterType, data = dcv.new)
summary(mod)

在这种情况下给予

> mod <- lm(response ~ voterType, data = dcv.new)
> summary(mod)

Call:
lm(formula = response ~ voterType, data = dcv.new)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.8241 -0.4075  0.0000  0.5856  1.9030 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   -2.656      1.425  -1.864   0.0952 .
voterTypeE     2.612      1.593   1.639   0.1356  
voterTypeN     3.040      1.646   1.847   0.0978 .
voterTypeP     2.742      1.646   1.666   0.1300  
voterTypeV     2.771      1.745   1.588   0.1468  
voterTypeX     2.378      2.015   1.180   0.2684  
voterTypeY     3.285      1.745   1.882   0.0925 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.425 on 9 degrees of freedom
  (4 observations deleted due to missingness)
Multiple R-squared: 0.3154, Adjusted R-squared: -0.1411 
F-statistic: 0.6909 on 6 and 9 DF,  p-value: 0.6635 

神奇的一切都发生在公式代码中，但基本上在幕后发生的是，一旦 R 找到了公式中命名的所有变量，它实际上最终会调用类似的东西

model.matrix( ~ voterType, data = dcv.new)

它生成基础矩阵代数和 QR 分解所需的协变量矩阵。上面的代码，对于小例子给出:

> model.matrix(~ voterType, data = dcv.new)
   (Intercept) voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX
1            1          1          0          0          0          0
2            1          1          0          0          0          0
3            1          0          0          0          1          0
5            1          1          0          0          0          0
8            1          0          0          1          0          0
10           1          0          0          0          0          0
11           1          0          1          0          0          0
12           1          0          1          0          0          0
13           1          1          0          0          0          0
14           1          0          0          0          0          1
15           1          0          0          0          1          0
16           1          0          0          1          0          0
17           1          0          0          1          0          0
18           1          0          0          0          0          0
19           1          0          1          0          0          0
20           1          0          0          0          0          0
   voterTypeY
1           0
2           0
3           0
5           0
8           0
10          1
11          0
12          0
13          0
14          0
15          0
16          0
17          0
18          0
19          0
20          1
attr(,"assign")
[1] 0 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"

这就是您想要对代码执行的操作。所以如果你真的需要它，你可以使用 model.matrix()就像我展示的那样也生成矩阵 - 剥离不需要的属性。

在这种情况下，引用电平是 "A" :

> with(dcv.new, levels(voterType)[1])
[1] "A"

由 (Intercept) 表示 model.matrix 的输出中的列.请注意，这些处理对比代码与引用水平的偏差。您可以通过添加 -1 来抑制公式中的截距来获得虚拟值。 (0r +0):

> model.matrix(~ voterType - 1, data = dcv.new)
   voterTypeA voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX voterTypeY
1           0          1          0          0          0          0          0
2           0          1          0          0          0          0          0
3           0          0          0          0          1          0          0
5           0          1          0          0          0          0          0
8           0          0          0          1          0          0          0
10          0          0          0          0          0          0          1
11          0          0          1          0          0          0          0
12          0          0          1          0          0          0          0
13          0          1          0          0          0          0          0
14          0          0          0          0          0          1          0
15          0          0          0          0          1          0          0
16          0          0          0          1          0          0          0
17          0          0          0          1          0          0          0
18          1          0          0          0          0          0          0
19          0          0          1          0          0          0          0
20          0          0          0          0          0          0          1
attr(,"assign")
[1] 1 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"