r - R:保留某些变量的回归

Question

我正在使用lm（）做一个多线性回归模型，Y是响应变量（例如：利息回报），其他是解释变量（100多个案例，30多个变量）。

有某些变量被视为关键变量（关于投资），当我运行lm（）函数时，R返回一个模型，其方形平方误差为97％。但是某些关键变量不是重要的预测指标。

是否可以通过将模型中的所有关键变量（作为重要预测变量）保留下来进行回归？调整后的R平方是否减小并不重要。

如果回归不起作用，是否还有其他方法？

谢谢！

=========================

数据集已上传
https://www.dropbox.com/s/gh61obgn2jr043y/df.csv

=========================

其他问题：
如果某些变量对上一期间到当前期间有影响，该怎么办？
例如：一个人早上吃早餐时吃药，吃药的效果可能在午餐后持续（他/她在午餐时吃了第二颗药）
我想我需要考虑数据转换。
*我的首选是加上结转率：obs.2_trans = obs.2 + c-o率* obs.1
*也许我还需要考虑药丸效应本身的衰减，因此也需要S曲线或指数变换。

以变​​量main1为例，我可以使用尝试方法从0.5开始获得理想的co速率和s曲线参数，并以0.05的步长进行测试，直至1或降至0，直到获得最高的模型得分-例如，最低的AIC或最高的R方。
这已经是一笔巨大的考验。
如果我需要同时测试三个以上的变量，该如何用R进行管理？

谢谢！

Answer 1

首先，关于“重要性”的注释。对于模型中包含的每个变量，线性建模程序包报告该变量的系数不同于零的可能性（实际上，报告为p=1-L）。我们说，如果L较大（p较小），则系数“更大”。因此，尽管说一个变量比另一个变量“更重要”是很合理的，但是没有绝对的标准来断言“重要”与“不重要”。在大多数科学研究中，临界值是L>0.95（p<0.05）。但这是完全任意的，并且有许多例外。回想一下，欧洲核子研究中心（CERN）不愿意断言希格斯玻色子的存在，直到他们收集到足够的数据来证明其6σ的影响。这大致对应于p <1×10-9。在另一个极端，许多社会科学研究断言p <0.2的显着性（因为固有变异性更高，通常样本数量少）。因此，从模型中排除变量是因为它“不重要”，实际上没有任何意义。另一方面，您将很难包含一个具有较高p的变量，而要排除另一个具有较低p的变量。

其次，如果变量高度相关（在您的情况下就是如此），那么从模型中删除一个变量会极大地改变所有p值，这是很常见的。具有较高p值（较低显着性）的保留变量可能突然具有较低p值（较显着性），只是因为您从模型中删除了一个完全不同的变量。因此，尝试手动优化拟合通常是一个坏主意。

幸运的是，有许多算法可以为您完成此任务。一种流行的方法是从具有所有变量的模型开始。在每个步骤中，删除最低有效变量，并将生成的模型与上一步中的模型进行比较。如果删除此变量会严重降低模型的性能，则基于某些指标，该过程将停止。常用的度量标准是Akaike information criterion（AIC），在R中，我们可以使用stepAIC(...)包中的MASS根据AIC标准优化模型。

第三，回归模型的有效性取决于某些假设，尤其是这两个假设：误差方差是常数（不取决于y），误差分布近似正态。如果不满足这些假设，则p值完全没有意义！拟合模型后，我们可以使用残差图和Q-Q图检查这些假设。必须对任何候选模型都执行此操作！

最后，离群值的存在经常使模型严重失真（几乎可以定义！）。如果您的变量高度相关，则会放大此问题。因此，对于您而言，寻找异常值并查看将其删除会发生什么非常重要。

下面的代码将所有这些汇总起来。

library(MASS)
url <- "https://dl.dropboxusercontent.com/s/gh61obgn2jr043y/df.csv?dl=1&token_hash=AAGy0mFtfBEnXwRctgPHsLIaqk5temyrVx_Kd97cjZjf8w&expiry=1399567161"
df <- read.csv(url)
initial.fit <- lm(Y~.,df[,2:ncol(df)]) # fit with all variables (excluding PeriodID)
final.fit   <- stepAIC(initial.fit)    # best fit based on AIC
par(mfrow=c(2,2))
plot(initial.fit)                      # diagnostic plots for base model
plot(final.fit)                        # same for best model
summary(final.fit)
# ...
# Coefficients:
#              Estimate Std. Error t value Pr(>|t|)    
# (Intercept)  11.38360   18.25028   0.624  0.53452    
# Main1       911.38514  125.97018   7.235 2.24e-10 ***
# Main3         0.04424    0.02858   1.548  0.12547    
# Main5         4.99797    1.94408   2.571  0.01195 *  
# Main6         0.24500    0.10882   2.251  0.02703 *  
# Sec1        150.21703   34.02206   4.415 3.05e-05 ***
# Third2       -0.11775    0.01700  -6.926 8.92e-10 ***
# Third3       -0.04718    0.01670  -2.826  0.00593 ** 
# ... (many other variables included)
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 22.76 on 82 degrees of freedom
# Multiple R-squared:  0.9824,  Adjusted R-squared:  0.9779 
# F-statistic:   218 on 21 and 82 DF,  p-value: < 2.2e-16

par(mfrow=c(2,2))
plot(initial.fit)
title("Base Model",outer=T,line=-2)
plot(final.fit)
title("Best Model (AIC)",outer=T,line=-2)

因此，您可以从中看到，基于AIC度量标准的“最佳模型”实际上包括Main 1,3,5和6，但不包括Main 2和4。残差图不依赖于y（是很好的），而QQ图显示了残差的近似正态性（也很好）。另一方面，杠杆图显示了几个点（第33行和第85行）具有极高的杠杆作用，而Q-Q图显示了这些相同的点和第47行，因为它们的残差与正态分布并不完全一致。因此，我们可以按如下所示重新运行排除这些行的拟合。

initial.fit <- lm(Y~.,df[c(-33,-47,-85),2:ncol(df)])
final.fit   <- stepAIC(initial.fit,trace=0)
summary(final.fit)
# ...
# Coefficients:
#               Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   27.11832   20.28556   1.337 0.185320    
# Main1       1028.99836  125.25579   8.215 4.65e-12 ***
# Main2          2.04805    1.11804   1.832 0.070949 .  
# Main3          0.03849    0.02615   1.472 0.145165    
# Main4         -1.87427    0.94597  -1.981 0.051222 .  
# Main5          3.54803    1.99372   1.780 0.079192 .  
# Main6          0.20462    0.10360   1.975 0.051938 .  
# Sec1         129.62384   35.11290   3.692 0.000420 ***
# Third2        -0.11289    0.01716  -6.579 5.66e-09 ***
# Third3        -0.02909    0.01623  -1.793 0.077060 .  
# ... (many other variables included)

因此，排除这些行将导致所有p均小于0.2的“ Main”变量以及p小于0.1的Main 3除外（90％）。我想看看这三行，看看是否有合理的理由将它们排除在外。

最后，仅因为您拥有一个非常适合您现有数据的模型，并不意味着它可以作为预测模型很好地运行。特别是，如果您试图在“模型空间”之外进行预测（相当于外推法），那么您的预测能力可能很差。