python - 在 DARKNET 训练期间得到 -NaN，我做错了什么？

Question

我想训练 YOLOv3 来检测航空图片上的人体。我在图像数据集中使用 VisDrone 对象检测: github.com/VisDrone/VisDrone-Dataset

我编写了一个脚本，将标签转换为暗网格式，以便我可以根据 pjreddie“在 COCO 上训练 YOLO”说明来训练它，我仔细检查了转换后的标签是否正确匹配对象，并且确实如此，我还创建了一个正确的标签coco.names 文件根据 github 上 VisDrone2018-DET-toolkit 上的标签描述。我通过运行创建了 trainvalno5k.txt 文件

python 5kGenerator.py > trainvalno5k.txt

5kGenerator.py:

import os

for filename in os.listdir('images'):
    print( os.path.abspath( os.path.join( 'images', filename )))

我修改了coco.data文件，这是结果:

classes= 12
train  = /mnt/d/Olaf/Documents/Python/VisDrone2019-DET-train/trainvalno5k.txt
#valid  = /mnt/d/Olaf/Documents/Python/VisDrone2019-DET-train/5k.txt
#valid = data/coco_val_5k.list
names  = /mnt/d/Olaf/Documents/Python/VisDrone2019-DET-train/coco.names
backup = backup
#eval=coco

我注释掉了 valid ，因为据我了解，它用于检查结果，而有效数据集与训练无关(我没有费心创建它)。

当我运行 ./darknet detector train cfg/coco.data cfg/yolov3.cfg darknet53.conv.74 时，内容正确加载并且训练开始，但每隔几行我就会收到 -nan 消息，我不知道为什么以及这是否对最终结果有影响，例如:

Loading weights from darknet53.conv.74...Done!
Learning Rate: 0.001, Momentum: 0.9, Decay: 0.0005
Resizing
416
Loaded: 1.122782 seconds
Region 82 Avg IOU: -nan, Class: -nan, Obj: -nan, No Obj: 0.428162, .5R: -nan, .75R: -nan,  count: 0
Region 94 Avg IOU: 0.409795, Class: 0.690346, Obj: 0.091164, No Obj: 0.519810, .5R: 0.000000, .75R: 0.000000,  count: 1
Region 106 Avg IOU: 0.157575, Class: 0.532119, Obj: 0.333807, No Obj: 0.417611, .5R: 0.045685, .75R: 0.000000,  count: 197
Region 82 Avg IOU: -nan, Class: -nan, Obj: -nan, No Obj: 0.427261, .5R: -nan, .75R: -nan,  count: 0

它非常慢，因为我正在 CPU 上测试它，适当的训练将在 Nvidia Quadro 上完成

您能否解释一下这种行为以及我该如何解决该 -nan 问题？

PS。我在 Windows 10 上使用 Ubuntu 终端，我不知道这是否重要。

Answer 1

1. 最好使用 AlexeyAB repository用于训练。

2. 您应该使用验证集或测试来评估数据上经过训练的网络。

3. 我已经训练了 26 个类别的数据集，但我忽略了 5k 个类别，而您有 12 个类别。

4. 对于 Nan 值，最好在训练开始时降低学习率。然后增加它。

5. 您可以在 Windows 和 Linux 中训练您的网络，这并不重要。