r - R gbm 函数中的权重参数

Question

R gbm 中的 weights 参数是什么？功能？它是否实现了成本敏感随机梯度提升？

Answer 1

您可能已经阅读过本文，但文档说 weights 参数是这样定义的:

an optional vector of weights to be used in the fitting process. Must be positive but do not need to be normalized. If keep.data=FALSE in the initial call to gbm then it is the user’s responsibility to resupply the weights to gbm.more.

因此，我的解释是它们是任何统计模型中的标准观察权重。

对成本敏感吗？好问题。我首先注意到该包的主要引用之一是:

B.克里格勒(2007)。 Cost-Sensitive Stochastic Gradient Boosting Within a Quantitative Regression Framework .

所以我认为它确实意味着成本敏感性，但在插图中没有明确使用该术语，所以如果它不明显。

我做了一些更深入的研究，发现了更多的资源。您可以在 this 末尾找到描述权重的方程。描述该包的文章。

我还发现有人问这个问题way back in 2009 in a mailing list ，虽然没有任何回应，但我终于找到了一个scholarly article讨论使用 gbm 和其他 R 包进行成本敏感的梯度提升。

结论是，gbm 的分位数损失函数是可微分的，可用于对成本敏感的应用，其中高估/低估具有不同的误差成本，但是其他定量损失函数(除了分位数)在成本敏感的梯度提升的某些应用中可能是必要/适当的。

该论文以 gbm 为中心，但也讨论了其他软件包，如果您的重点是成本敏感的梯度提升，那么您可能还想看看他们在论文中提到的其他软件包。