python - Tensorflow 中的损失权重如何工作？

Question

我正在针对代表性明显不足的目标类训练循环二元分类器。假设我们的目标类别 1 代表我们拥有的所有训练数据的 <1%，而类别 0 >99%。为了对模型错误预测少数群体进行更多惩罚，我想在损失函数中使用权重。对于每个小批量，我创建了相应的权重小批量，其中我们的目标类别的权重标量 >1.0，而我们的多数类别相应地小于 1.0。例如，在下面的代码中，我们对 1 类使用 2.0，对 2 类使用 0.6。

loss_sum = 0.0
for t, o, tw in zip(self._targets_uns, self._logits_uns, self._targets_weight_uns):
    # t -- targets tensor [batchsize x 1], tw -- weights tensor [batchsize x 1]
    # e.g. [0, 0, 0, 0, 1, 1, 0] -- [0.5, 0.5, 0.5, 0.5, 2.0, 2.0, 0.5]
    _loss = tf.losses.sigmoid_cross_entropy(t, o, weights=tw, label_smoothing=0,
                                scope="sigmoid_cross_entropy",
                                loss_collection=tf.GraphKeys.LOSSES)
    loss_sum += _loss

模型训练完成后，我检查预测精度，发现它比没有权重时的精度略低。我继续尝试 [1.4, 0.8]、[1.6, 0.4]、[4.0, 0.1]、[3.0, 1.0]、... 等权重对。然而，与未加权训练相比，除了边际差异降低 2-3% 之外，我没有得到任何改进。好吧，也许我误解了文档 tf.losses.sigmoid_cross_entropy功能。

weights acts as a coefficient for the loss. If a scalar is provided, then the loss is simply scaled by the given value. If weights is a tensor of shape [batch_size], then the loss weights apply to each corresponding sample.

我只是反转这些对，并对 0 类使用较高的权重，对于 1 类使用较低的权重:[0.5, 2.0], [0.8, 1.3], [0.2, 1.0], ...。除了比未加权版本稍差之外，这也没有提供任何改进。

有人可以向我解释一下加权损失的行为吗？我做得对吗？我应该怎样做才能增加少数群体的权重？

Answer 1

加权是一种通用数学技术，用于求解 Wx=y 形式的过度指定方程组，其中输入向量中的 x， y 是输出向量，W 是您希望找到的变换矩阵。通常，这些问题可以使用 SVD 等技术来解决。 SVD 将通过最小化超指定系统的最小二乘误差来找到W的解决方案。 Tensorflow 基本上是通过其最小化过程来解决类似的问题。

在您的例子中，发生的情况是您有 1 个 A 类样本和 99 个 B 类样本。由于求解过程旨在最小化总体误差，因此 B 类对解决方案的贡献是类的 99 倍A 的 1。为了解决这个问题，您应该调整权重，以便 A 类和 B 类对解决方案的贡献均匀，即......将 B 类权重降低 0.01。

更一般地说，你可以做...

ratio = num_B / (num_A + num_B)
weights = [ratio, 1.0 - ratio]