machine-learning - 使用哪个指标来评估具有不平衡数据的分类器？

Question

我正在研究一个类别非常不平衡的分类问题。为了解决这个问题，我使用了带有替换的过采样。 (正如这里所建议的:http://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/)。

然后我将数据集(过采样的数据集)分为训练集和测试集，并训练朴素贝叶斯算法。当我想测试时，使用准确度测量可以吗？据我了解，对于样本较少的类，我基本上添加了样本的副本。所以我的 test_set 包含训练集的精确副本。混淆矩阵怎么样？在过采样数据集上使用混淆矩阵意味着什么？这是一个好的做法吗？

Answer 1

首先回答一个问题:您想要实现什么？换句话说 - 您的模型应该“在野外”做什么。评估指标必须简单地回答这个问题，除此之外别无其他。其次 - 总是首先分割数据，然后进行预处理。当您尝试按照建议复制一些数据时，这一点至关重要 - 如果您首先复制然后拆分，您最终可能会在训练和测试中得到相同点，这对您来说将是可怕的估计。

特别是 - 您正在处理不平衡的数据集。主要问题是为什么不平衡？是因为真实数据不平衡(例如，您正在处理具有各种罕见正类的二元分类)，还是因为某种奇怪的数据收集方式的结果，这并不是真正的随机样本来自底层过程(例如，通常类是完全平衡的，但您的标记数据集不是，因为人们更喜欢在您的问题中标记正样本)。如果真实数据不平衡，那么您无法改变测试集中的平衡，这将完全破坏您尝试从实验中得出的任何结论。测试数据必须是真实数据的代表性样本。你不能“为了你自己的需要”而改变它，永远不能。如果后者是正确的 - 那么您可以尝试更改测试以使其更类似于真实数据(与之前的参数相同)。

您可以做的是修改指标以匹配您关心的内容(是的，过采样测试数据可以达到相同的效果，但了解您在这里所做的事情至关重要 - 您可以修改指标，但不能触摸测试设置，如果您想获得一般有效的概率推理)。如果您只关心一个具有随机数据点正确分类概率高的模型 - 请使用准确性。如果你更关心某个类(在不平衡的情况下你经常这样做) - 你总是可以通过将不同的成本附加到 FP 或 FN 来超重错误成本，并根据混淆矩阵计算你自己的指标。请记住，如果您确实使用自定义指标，则必须“告诉”您的模型您这样做。我们那里 90% 的分类器假设您关心准确性，并且它们会最大化它。如果您更改指标 - 分类器的“天真的”应用可能会导致无效的结论(就模型选择而言)。

总结一下:

• 不要修改测试数据的分布(无过采样!)
• 设置与您想要学习的内容相匹配的指标
• 将此信息添加到您的学习方案中(例如 - 为支持向量机、逻辑回归等附加类别权重)