r - 如何在 R 中的二进制 h2o GBM 中获得每个类的不同变量重要性？

Question

我正在尝试探索使用 GBM 和 h2o 来解决分类问题，以取代逻辑回归 (GLM)。我的数据中的非线性和交互使我认为 GBM 更合适。

我运行了基线 GBM(见下文)，并将 AUC 与逻辑回归的 AUC 进行了比较。 GBM 的表现要好得多。

在经典的线性逻辑回归中，人们将能够看到每个预测变量 (x) 对结果变量 (y) 的方向和影响。

现在，我想以同样的方式评估估计 GBM 的变量重要性。

如何获得(两个)类中每一类的变量重要性？

我知道变量重要性与逻辑回归中的估计系数不同，但它将帮助我了解哪个预测变量影响哪个类别。

其他人问过similar questions ，但提供的答案不适用于 H2O 对象。

非常感谢任何帮助。

example.gbm <- h2o.gbm(
  x = c("list of predictors"), 
  y = "binary response variable", 
  training_frame = data, 
  max_runtime_secs = 1800, 
  nfolds=5,
  stopping_metric = "AUC")

Answer 1

AFAIS，机器学习方法越强大，解释其背后发生的事情就越复杂。

GBM 方法的优点(正如您已经提到的)也给理解模型带来了困难。对于数字变量来说尤其如此，当 GBM 模型可能以不同的方式利用值范围时，有些可能会产生积极影响，而另一些则可能产生负面影响。

对于GLM，当没有指定交互作用时，数值变量将是单调的，因此您可以检查积极或消极的影响。

现在整体 View 很难，有什么方法可以分析模型吗？我们可以从两种方法开始:

部分依赖图

h2o 提供了 h2o.partialplot 来给出每个变量的部分(即边际)效应，可以将其视为效果:

library(h2o)
h2o.init()
prostate.path <- system.file("extdata", "prostate.csv", package="h2o")
prostate.hex <- h2o.uploadFile(path = prostate.path, destination_frame = "prostate.hex")
prostate.hex[, "CAPSULE"] <- as.factor(prostate.hex[, "CAPSULE"] )
prostate.hex[, "RACE"] <- as.factor(prostate.hex[,"RACE"] )
prostate.gbm <- h2o.gbm(x = c("AGE","RACE"),
                       y = "CAPSULE",
                       training_frame = prostate.hex,
                       ntrees = 10,
                       max_depth = 5,
                       learn_rate = 0.1)
h2o.partialPlot(object = prostate.gbm, data = prostate.hex, cols = "AGE")

个人分析器

LIME 包 [https://github.com/thomasp85/lime]提供检查每个观测值的变量贡献的能力。幸运的是，这个 r 包已经支持 h2o。