performance - 在 WEKA 中评估模型

Question

我在数据集上应用了分类算法并得出以下统计数据:

Correctly Classified Instances         684               76.1693 %
Incorrectly Classified Instances       214               23.8307 %
Kappa statistic                          0     
Mean absolute error                      0.1343
Root mean squared error                  0.2582
Relative absolute error                100      %
Root relative squared error            100      %
Total Number of Instances              898     

=== Detailed Accuracy By Class ===

               TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class
                 0         0          0         0         0          0.5      1
                 0         0          0         0         0          0.5      2
                 1         1          0.762     1         0.865      0.5      3
                 0         0          0         0         0          ?        4
                 0         0          0         0         0          0.5      5
                 0         0          0         0         0          0.5      U
Weighted Avg.    0.762     0.762      0.58      0.762     0.659      0.5  

=== Confusion Matrix ===

   a   b   c   d   e   f   <-- classified as
   0   0   8   0   0   0 |   a = 1
   0   0  99   0   0   0 |   b = 2
   0   0 684   0   0   0 |   c = 3
   0   0   0   0   0   0 |   d = 4
   0   0  67   0   0   0 |   e = 5
   0   0  40   0   0   0 |   f = U

我可以理解大部分数据，但是由于我是 Weka 新手，所以在解释这些值时存在问题:1. 总体报告错误率是多少？2. 如何解释模型是否有有趣的地方？

Answer 1

1) 总体误差测量

经常报告三元组精度、召回率和F-Measure，因为每个数字代表模型的不同方面。

如果只想得到一个数字，则采用正确分类实例的百分比或加权平均值。 F-测量。

其他错误度量也很有用，但它们需要更深入的统计知识(我缺乏:-)

2)关于模型的一些有趣的事情

从按类详细准确度和混淆矩阵您可以看到该模型非常简单。它将所有内容分类为 3 类。误差测量看起来相当成功，但这只是因为数据集中 76% 的实例属于类别 3。该模型对应于经常使用的称为“最常见类别”的基线算法。