machine-learning - 互信息和预测准确性

Question

互信息和分类预测准确性或回归 MSE 之间有什么关系？数据挖掘中是否有可能实现高精度/低MSE和低互信息？

Answer 1

互信息是为概率分布对定义的。关于它与其他量的关系，可以说的大部分内容在很大程度上取决于您如何计算和表示这些概率分布(例如，离散概率分布与连续概率分布)。

给定一组概率分布，分类准确率和互信息之间的关系为studied in the literature 。简而言之，一个量给另一个量带来了界限，至少对于离散概率分布来说是这样。

我不知道有任何关于 MSE 和互信息之间关系的正式研究。

话虽如此，如果我有一个具体的数据集，并且两个变量的互信息得分较低，而且回归模型中的 MSE 也非常低，那么我会仔细研究如何计算互信息。百分之九十九发生这种情况是因为香农熵(以及扩展的互信息)的原始公式用于连续/ float 据，即使该方法仅适用于离散数据。