r - 使用 NA 为稀疏矩阵和 XGBOOST 准备数据

Question

我有一个由因子变量、数值变量和目标列组成的大型数据集，我试图正确地输入 xgboost，目的是制作 xgb.Matrix 并训练模型。

我对将数据帧放入 xgb.DMatrix 对象的正确处理感到困惑。具体来说，我在因子和数字变量中都有 NA，我想在创建 xgb.Matrix 之前从我的数据框中创建一个 sparse.model.matrix。对 NA 的正确处理真的让我很困惑。

我有以下示例数据框 df由一个二元分类变量、两个连续变量和一个目标组成。分类变量和一个连续变量具有 NA

'data.frame':   10 obs. of  4 variables:
 $ v1    : Factor w/ 2 levels "0","1": 1 2 2 1 NA 2 1 1 NA 2
 $ v2    : num  3.2 5.4 8.3 NA 7.1 8.2 9.4 NA 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

     v1  v2   v3 target
1     0 3.2 22.1      0
2     1 5.4 44.1      0
3     1 8.3 57.0      1
4     0  NA 64.2      1
5  <NA> 7.1 33.1      0
6     1 8.2 56.9      0
7     0 9.4 71.2      0
8     0  NA 33.9      1
9  <NA> 9.9 89.3      0
10    1 4.2 97.2      0

sparse.model.matrix来自 matrix图书馆不接受 NA。它消除了行(我不想要的)。所以我需要将 NA 更改为数字替换，如 -999
如果我使用简单的命令:

df[is.na(df)] = -999

它只替换数字列中的 NA:

     v1     v2   v3 target
1     0    3.2 22.1      0
2     1    5.4 44.1      0
3     1    8.3 57.0      1
4     0 -999.0 64.2      1
5  <NA>    7.1 33.1      0
6     1    8.2 56.9      0
7     0    9.4 71.2      0
8     0 -999.0 33.9      1
9  <NA>    9.9 89.3      0
10    1    4.2 97.2      0

所以我首先(认为我)需要将因子变量更改为数字，然后再做
替代。这样做我得到:

     v1     v2   v3 target
1     1    3.2 22.1      0
2     2    5.4 44.1      0
3     2    8.3 57.0      1
4     1 -999.0 64.2      1
5  -999    7.1 33.1      0
6     2    8.2 56.9      0
7     1    9.4 71.2      0
8     1 -999.0 33.9      1
9  -999    9.9 89.3      0
10    2    4.2 97.2      0

但是将因子变量转换回因子(我认为这是必要的
所以 xgboost 稍后会知道它的一个因素)我得到三个级别:

data.frame':    10 obs. of  4 variables:
 $ v1    : Factor w/ 3 levels "-999","1","2": 2 3 3 2 1 3 2 2 1 3
 $ v2    : num  3.2 5.4 8.3 -999 7.1 8.2 9.4 -999 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

我现在最终不确定制作 sparse.model.matrix 并最终
xgb.matrix 对象将是有意义的，因为 v1 看起来很困惑。

更令人困惑的是， xgb.Dmatrix()有争论 missing我可以用它来识别代表 NA 的数值 (-999)。但是这个
只能用于稠密矩阵。如果我提交密集矩阵，我会
只需要 NA 就不需要了。然而，在稀疏矩阵中
在我有 -999 的地方，我无法使用它。

我希望我没有忽视一些简单的事情。已通过 xgboost.pdf广泛并在谷歌上查看。

请帮忙。提前致谢。

Answer 1

options(na.action='na.pass')正如@mtoto 所提到的，是处理这个问题的最佳方法。它将确保您在构建模型矩阵时不会丢失任何数据。

特别是 XGBoost 实现；在 NAs 的情况下，在种植树的同时进行分割时检查更高的增益。因此，例如，如果不考虑 NA 的拆分被决定为变量 var1的(范围 [0,1])值为 0.5 然后计算增益考虑 var1 NA 应 < 0.5 和 > 0.5。对于任何拆分方向，它都会获得更多增益，它将 NA 归因于具有该拆分方向。所以 NA 现在有一个范围 [0,0.5]或 [0.5,1]但不是分配给它的实际值(value)(即推算)。引用(原作者 tqchen 于 2014 年 8 月 12 日的 comment)。

如果您在那里输入 -99xxx，那么您就限制了学习 NA 正确范围(以标签为条件)的算法能力。