tensorflow - 大类不平衡的训练

Question

这是一个三部分的问题

1) 类(class)大小 - 我正在 5 个类(class)上训练 TF 对象检测 API，其中大小并不接近:

class1 中的图像数量:401

class2 中的图像数量:389

class3 中的图像数量:532

class4 中的图像数量:159393

class5 中的图像数量:185313

(全部的

这不是训练典型的图像分类器，所以我猜这不是真正的类不平衡问题，但我想知道它是否会影响结果模型

2) 可以使用 TF 对象检测 API 来检测两个对象，其中 1 被另一个包围/有界吗？

前任。脸对人 - 脸在人的范围内

3) 这是一个 continuation我发现使用 Faster RCNN 意味着必须将 batch_size 设置为 1。

正因为如此，我不确定这是否意味着我必须在训练期间等待全局步骤才能匹配训练集中的图像数量(在我的自定义数据集中大约 340k)。我在带有 4 个 vCPU 和 15gig RAM 的 Google 计算上使用带有 12 GB 内存的 Tesla k80 GPU。大约 2 天后，我看到损失远低于 1:

INFO:tensorflow:global step 264250: loss = 0.2799 (0.755 sec/step)

INFO:tensorflow:global step 264251: loss = 0.0271 (0.787 sec/step)

INFO:tensorflow:global step 264252: loss = 0.1122 (0.677 sec/step)

INFO:tensorflow:global step 264253: loss = 0.1709 (0.797 sec/step)

INFO:tensorflow:global step 264254: loss = 0.8366 (0.790 sec/step)

INFO:tensorflow:global step 264255: loss = 0.0541 (0.741 sec/step)

INFO:tensorflow:global step 264256: loss = 0.0760 (0.781 sec/step)

INFO:tensorflow:global step 264257: loss = 0.0621 (0.777 sec/step)

如何确定何时停止？直到这里我才注意到，我从最新的检查点文件生成的卡住推理图似乎只能检测到具有最多图像(即人脸)数量的类，而没有检测到其他任何东西。

Answer 1

1) 是的，它会以某种方式影响结果。更准确地说，您的模型将非常擅长识别第 5 类和第 4 类，并且可能对其他类有所了解。考虑将 [4, 5] 的实例数量限制为至少与其他类处于同一数量级。这在开始时尤其有用，因此它可以平衡地表示每个类。

这里同样非常重要的是使用数据增强(见 this answer)。

3) 通常，您的模型应该需要几个时期才能很好地训练，尤其是当您进行数据增强时。

这在 SO 和存储库中的问题上随处可见:您无法知道它是否仅从损失的值中收敛! .考虑这种情况:您有 shuffle: True对于您的输入图像，第 4 类和第 5 类中的 344,706 张图像。如果 shuffle 对它们进行排列，使这些图像排在来自类 [1,2,3] 的图像之前，那么您的模型到目前为止学习了一些很好的表示，但是当它遇到由于过度拟合，第 1 类图像会过冲。因此，您的损失将跃升至某个非常高的值。

解决办法是运行eval.py并行，因为这让您了解模型在所有类上的表现。当您对该指标感到满意时，您可以停止。

请注意，如果它们涉及不同的主题，在 StackOverflow 上提出不同的问题是正常的，因为我们正在为您回答，也为您当前职位的所有 future 人回答。

所以我会在另一个问题中回答 2) :)