python - 进行类别不平衡正则化的正确位置(数据级别或批处理级别)

Question

我有两个二进制不平衡数据集，其中标签为 0 或 1，预测输出介于 0 和 1 之间。正例有 10000 个样本，而负例有 90000 个样本。我在训练时使用了 100 个批处理。

在计算 BinaryCrossEntropyLoss(在 pytorch 中)时，可以提供每批元素正则化权重。

我的问题是:要计算一般类(class)体重剂量，更有意义的是在开始时计算 1 次(对于阳性病例为 1/(10000/(100000))，并用该值缩放每个样本的损失

或者:

通过首先找到批处理类别不平衡来计算批处理级别的权重(例如，在批处理中可能有 25 个正例和 75 个负例，因此对于正例为 1/(25/(25+75))

我问这个是因为损失是整个批处理的平均值

Answer 1

如果您希望这样做，您应该计算每批类别的不平衡性。

另一方面，您应该确保每个批处理保留标签统计信息(例如，对于批处理 64 和您的案例，您应该有 6 个正样本，其余的样本消极的)。这样，计算一次类不平衡并将其添加到torch.nn.BCELoss就足够了。以每批处理为基础。

不过，我建议采用其他方法，例如使用 PyTorch 的 Sampler 类进行过采样或欠采样(不要通过复制示例来实现，这会完全不必要地浪费空间)。您可以手动实现它或使用为您完成的第三方库，例如 torchdata (披露:我是作者)和 torchdata.samplers.RandomOverSampler .