machine-learning - Torch7 使用具有不平衡训练集的权重

Question

我在我的卷积网络中使用 CrossEntropyCriterion。我有 150 个类(class)，每个类(class)的训练文件数量非常不平衡(5 到 2000 个文件)。根据文档，我可以使用权重来补偿这一点:

criterion = nn.CrossEntropyCriterion([weights])

“如果提供，可选参数权重应该是为每个类分配权重的一维张量。当您有不平衡的训练集时，这特别有用。”

权重应该采用什么格式？例如:n类训练文件数/训练文件总数。

Answer 1

我假设你想在这个意义上平衡你的训练，小类变得更加重要。一般来说，有无限多种可能的权重会导致不同的结果。最简单的方法之一是简单地假设每个类别都应该同等重要(因此您可以有效地放弃经验先验)，即按比例设置权重

1 / # samples_in_class

例如

weight_of_class_y = # all_samples / # samples_in_y

这样，如果比例失调为 5:2000，较小的类别对于模型的重要性就会增加 400 倍。