python - azure 机器学习工作台 - 准确性高，但置信度分数非常低

Question

我是机器学习新手，所以请在回答之前记住这一点。我在尝试使用 CNTK 和 ResNet 模型在工作台中训练神经网络时遇到了挑战。我按照azure提供的本教程进行操作[1]https://learn.microsoft.com/en-us/azure/machine-learning/desktop-workbench/scenario-image-classification-using-cntk

我的第一个数据集是 ImageNet 的一个子集，包含 4 个不同类别的汽车、公共(public)汽车、货车和卡车的 900 张图像。之后，我使用了下面链接提供的数据集的子集。[2]http://podoce.dinf.usherbrooke.ca/challenge/dataset/

我使用了数据集的 9000 张图像，与 ImageNet 一样分为四个不同的类别，并开始训练我的网络。

我为此使用的分类器是具有以下配置的 DNN 分类器:

 rf_pretrainedModelFilename = "ResNet_50.model" 
 rf_inputResoluton = 224                
 rf_dropoutRate    = 0.5                 
 rf_mbSize         = 10               
 rf_maxEpochs      = 30                
 rf_maxTrainImages = float('inf')        
 rf_lrPerMb        = [0.01] * 10 + [0.001] * 10 + [0.0001] 
 rf_momentumPerMb  = 0.9                 
 rf_l2RegWeight    = 0.0005              
 rf_boFreezeWeights      = False         
 rf_boBalanceTrainingSet = False          images

训练模型后，我的总体准确率达到 96.80%，所有类别的准确率 > 92%。一切顺利，但当我测试其他各种测试图像时，我的置信度分数达到了最高值 12.9895。我得到一个返回的 JSON 对象，如下所示:图像分类为“公交车”，置信度得分为 12.9895。

     {\"score\": \"12.9895\", \"Id2Labels\": \"{0: 'Bus', 1: 'Truck', 2: ' 
  Car', 3: 'Van'}\", \"label\": \"Bus\", \"executionTimeMs\": \"128.749\", 
  \"allScores\": \"[ 12.98949814   3.51014233  -6.96435881  -6.89878178]\"}"

• 对于图像来说，值 12.9895 必定意味着 12.9895% 的可能性是一辆公共(public)汽车，对吧？为什么它不作为 0 到 1 之间的值返回？如果我错了，请纠正我，因为我确实对机器学习中用于同一事物的各种术语感到困惑。
• 为什么会有负值，我认为激活函数已经处理了负值？
• 我应该添加更大的数据集还是更好的图像质量来提高分数？
• 对于如何提高分数还有其他建议吗？

提到的两个数据集(ImageNet 和 MIO 的子集)的分数都较低。衷心感谢您花时间回答这些问题。

Answer 1

评分也称为预测，是在给定一些新输入数据的情况下基于经过训练的机器学习模型生成值的过程。创建的值或分数可以代表对 future 值的预测，但它们也可能代表可能的类别或结果。分数的含义取决于您提供的数据类型以及您创建的模型类型。

分数不能以 1 和 0 的形式返回，因为根据您提供的数据，有 12.9895% 的把握这是一辆公共(public)汽车。因此，您必须编写代码以返回值 1 和 0。

Read Here有关分数的更多信息。

对于激活，您必须使用ReLU激活函数。修正线性单元 (ReLU) 函数，它将负值设置为 0，而忽略其他值。

Here是实现的一个示例。

对于公交车的图像，您可以尝试放置不同的公交车或其他车辆的图像，质量越好，获得的分数就越高，但这取决于逻辑。在代码中将其定义为公共(public)汽车或卡车。

你试过吗this ？