python - Mutual_info_regression 和 Mutual_info_classif 有什么用？

Question

我正在学习大数据集的特征选择。我遇到了一种名为“Mutual_info_regression”和“Mutual_info_classif”的方法。它返回所有功能的值。该值代表什么？

Answer 1

它们都测量 mutual information在包含一组特征向量的矩阵和目标之间。他们在 sklearn.feature_selection 下，因为互信息可用于了解某个特征的预测器有多好。这是信息论中的一个核心概念，与entropy的概念密切相关。 ，我建议你从这开始。但简而言之，两个变量之间的互信息衡量了一个给定特征可以在多大程度上解释另一个(目标)，或者更专业地说，通过观察一个特征将获得多少关于目标变量的信息。

这实际上是内部决策树通过 Iterative Dichotomiser 3 训练的度量用于决定在每个分割中将哪个特征设置为节点，以及要设置的后续阈值。两种方法之间的唯一区别在于，一种适用于离散目标，另一种适用于连续目标。