Python分类定义特征重要性

Question

我想知道是否可以在 Pyhton 分类方法中定义特征重要性/权重？例如:

model = tree.DecisionTreeClassifier(feature_weight = ...) 

我在RandomForest中看到有一个属性feature_importance，它根据分析显示了特征的重要性。但我是否可以提前定义特征重要性以进行分析？

非常感谢您提前提供的帮助!

Answer 1

随机森林分类器中的特征重要性确定使用随机森林特定的方法(反转该特征的所有二进制测试，并获得额外的分类误差)。

因此，特征重要性是一个与模型的预测能力相关的概念，而不是与训练阶段相关的概念。现在，如果您想让您的模型比其他功能更喜欢某些功能，您将必须找到一些取决于模型的技巧。

对于sklearn的DecisionTreeClassifier来说，这样的技巧似乎并不简单。如果您知道某些类别将更容易通过您想要支持的某些功能来预测，您可以自定义类别权重；但这看起来很脏。

在其他类型的模型中，例如使用内核的模型，您可以通过设置与特征直接相关的超参数来更轻松地做到这一点。

如果您试图限制过度拟合，我也建议您删除您知道不那么重要的功能。