weka混淆矩阵和准确度分析

Question

如何根据获得的准确度分析 Weka 中的混淆矩阵？我们知道，由于数据集不平衡，准确性并不准确。混淆矩阵如何“确认”准确性？

例子:a) 准确率 96.1728 %

   a   b   c   d   e   f   g   <-- classified as
 124   0   0   0   1   0   0 |   a = brickface
   0 110   0   0   0   0   0 |   b = sky
   1   0 119   0   2   0   0 |   c = foliage
   1   0   0 107   2   0   0 |   d = cement
   1   0  12   7 105   0   1 |   e = window
   0   0   0   0   0  94   0 |   f = path
   0   0   1   0   0   2 120 |   g = grass

b) 准确率:96.8%

a   b   c   d   e   f   g   <-- classified as
 202   0   0   0   3   0   0 |   a = brickface
   0 220   0   0   0   0   0 |   b = sky
   0   0 198   0  10   0   0 |   c = foliage
   0   0   1 202  16   1   0 |   d = cement
   2   0  11   2 189   0   0 |   e = window
   0   0   0   2   0 234   0 |   f = path
   0   0   0   0   0   0 207 |   g = grass

等...

Answer 1

准确率的计算方法是将主对角线上的所有实例相加，然后除以实例总数(所有混淆矩阵的内容)。例如，在 a) 中，您得到 124 + 110 + ... + 120 = 779，并且实例总数(所有内容相加)为 810，因此准确度为 0,9617 => 96,17%。

您的数据集相当平衡(所有类别的实例数量大致相同)。您可以看到，当一行的总和远大于其他行的总和时，数据集是不平衡的，因为行代表实际的类。例如:

a   b  <-- classified as
1000 20 | a = class1
10 10   | b = class2

在这种情况下，class1 有 1020 个实例，而 class2 只有 20 个，因此问题是高度不平衡的。这将影响分类器的性能，因为学习算法通常会尝试最大化准确性(或最小化错误)，因此像这样的简单分类器规则 for any X, set class = class1 的精度为 1020/1040 = 0,9807。