tensorflow - 图像分类 : Heavily unbalanced data over thousands of classes

Question

我有一个由大约 5000 个类别的图像组成的数据集，但是每个类别的图像数量从 20 到 2000 不等，这是非常不平衡的。此外，图像数量远远不足以从头开始训练模型。我决定对预训练模型进行微调，比如 Inception 模型。

但我不确定如何处理不平衡的数据。有几种可能的方法:

过采样:对少数类别进行过采样。但即使使用积极的图像增强技术，我们也可能无法处理过拟合。
另外，如何从这么多类别的不平衡数据集中生成平衡批次？您对 TensorFlow 的这种流水线机制有什么想法吗？

SMOTE:我认为它对于像图像这样的高维信号不是那么有效。

将权重放在每批的交叉熵损失上。这可能对单个批次有用，但无法处理整体不平衡。

关于这个的任何想法？任何反馈将不胜感激。

Answer 1

使用 tf.losses.softmax_cross_entropy并为每个类设置与其训练频率成反比的权重以“平衡”优化。