r - 回归模型如何处理因子变量？

Question

假设我有一个包含因子和响应变量的数据。我的问题:

• 线性回归和混合效应模型如何处理因子变量？
• 如果我为因子变量(m3 和 m4) 的每个级别都有一个单独的模型，那么这与模型 m1 和 m2 ?
• 哪个是最佳模型/方法？

例如，我使用 nlme 包中的 Orthodont 数据。

library(nlme)
data = Orthodont
data2 <- subset(data, Sex=="Male")
data3 <- subset(data, Sex=="Female")

m1 <- lm (distance ~ age + Sex, data = Orthodont) 
m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)

m3 <- lm(distance ~ age, data= data2
m4 <- lm(distance ~ age, data= data3)

Answer 1

问题 1:线性回归和混合效应模型如何处理因子变量？
A1:因子被编码为虚拟变量(1 = true，0 = false)。
例如，模型 1 的系数是:

coef(m1)    #lm( distance ~ age + Sex)
#(Intercept)         age   SexFemale 
# 17.7067130   0.6601852  -2.3210227 

因此计算距离为:
距离 = 17.71 + 0.66*年龄 - 2.32*性别女性
其中 SexFemale 为 0 表示男性，1 表示女性。这简化为:
男性: 距离 = 17.71 + 0.66*年龄
女:距离=15.39+0.66*年龄

如果模型有更多类别(例如超重、健康、体重不足)，则相应地添加虚拟变量:
R代码:lm(距离~年龄+体重状态)
计算:距离 = 年龄 + weightIsOver + weightIsHealthy + weightIsUnder
为每种体重类型创建三个单独的系数，并根据个人的体重类型乘以 0 或 1。

问题 2:如果我对因子变量的每个水平(m3 和 m4)都有一个单独的模型，那么它与模型有何不同 m1 和 m2?
A2:斜率和截距根据您的模型而变化。
m1 是多元线性回归 (MLR)，其中截距根据性别而变化，但年龄的斜率相同。我们也可以将其称为随机斜率。线性混合效应 (LME) 模型 m2 还指定了一个随性别 (1|Sex) 变化的截距。
m3 和 m4 ~ 随机斜率和随机截距模型，因为数据是分开的。

让我们指定一个具有随机斜率和随机截距的 LME:

m2a <- lme(distance ~ age, data = Orthodont, random= ~ age | Sex,
            control = lmeControl(opt="optim"))  
            #Changed the optimizer to achieve convergence

结合系数可以让我们检查模型的结构:

#Combine the model coefficients
coefs <- rbind(
                coef(m1)[1:2],                     
                coef(m1)[1:2] + c(coef(m1)[3], 0), #female coefficient added to intercept
                coef(m2),
                coef(m2a),
                coef(m3),
                coef(m4)); names(coefs) <- c("intercept", "age")
model.coefs <- data.frame(
                   model = paste0("m", c(1,1,2,2,"2a", "2a",3,4)),
                   type  = rep(c("MLR", "LME randomIntercept", "LME randomSlopes", 
                                  "separate LM"), each=2),
                   Sex = rep(c("male","female"), 4), 
                   coefs, row.names = 1:8)

model.coefs
#  model              model2    Sex intercept       age  #intercept & slope 
#1    m1                 MLR   male  17.70671 0.6601852  #different   same 
#2    m1                 MLR female  15.38569 0.6601852  
#3    m2 LME randomIntercept   male  17.67197 0.6601852  #different   same
#4    m2 LME randomIntercept female  15.43622 0.6601852 
#5   m2a    LME randomSlopes   male  16.65625 0.7540780  #different  different
#6   m2a    LME randomSlopes female  16.91363 0.5236138
#7    m3         separate LM   male  16.34062 0.7843750  #different  different
#8    m4         separate LM female  17.37273 0.4795455

问题 3:哪种模型/方法最好？
A3:视情况而定，但可能是混合效应模型。

在您的示例中，m3 和 m4 彼此没有关系，并且每个性别固有地具有不同的斜率。可以检查 LME 模型以确定是否需要随机斜率(例如 anova(m2, m2a))。当您有多个级别(例如学校类(class)内的学生)和重复测量(同一主题或跨时间的多项测量)时，混合效应模型是通用的。您还可以指定 covariance structures使用这些模型。

为了可视化这些不同的模型，让我们看看 Orthodont 数据:

library(ggplot)
gg <- ggplot(Orthodont, aes(age, distance, fill=Sex)) + theme_bw() +
        geom_point(shape=21, position= position_dodge(width=0.2)) +  
        stat_summary(fun.y = "mean", geom="point", size=8, shape=22, colour="black" ) +
        scale_fill_manual(values = c("Male" = "black", "Female" = "white"))

圆圈 = 原始数据，正方形 = 平均值。距离似乎随着年龄的增长而线性增加。男性的距离比女性高。斜率也可能因性别而异，与男性相比，女性的距离随年龄增加的幅度较小。 (注意:原始数据已在 x 轴上略微闪避以避免过度绘制。)

将我们的模型添加到数据中并放大:

gg1 <- gg +  
            geom_abline(data = model.coefs, size=1.5,
               aes(slope = age, intercept = intercept, colour = type, linetype = Sex)) 
gg1 + coord_cartesian(ylim = c(21, 27)) #zoom in

在这里，我们看到具有随机截距的 LME 模型类似于 MLR 模型。具有随机截距和随机斜率的 LME 类似于子集数据上的单独 LM。

最后，这里是如何使用 lme4 包制作等同于 m2 的方法:

m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)
library(lme4)
m5 <- lmer(distance ~ age + (1|Sex), data = Orthodont)  #same as m2

更多资源:
(Generalized) Linear Mixed Models FAQ
Comparing nlme and lme4使用 Orthodont 数据。