python - 如何扩展 Pytorch 损失函数

Question

我想创建自己的自定义损失函数作为 3 个损失函数的加权组合，类似于:

criterion = torch.nn.CrossEntropyLoss(out1, lbl1) + \
            torch.nn.CrossEntropyLoss(out2, lbl2) + \
            torch.nn.CrossEntropyLoss(out3, lbl3)

我这样做是为了解决多类多标签分类问题。是否有意义？如何在Pytorch中正确实现这样的损失函数？

谢谢

Answer 1

您解决问题的方法似乎是正确的，但您的代码中有一个拼写错误。下面是解决这个问题的方法:

loss1 = torch.nn.CrossEntropyLoss()(out1, lbl1)
loss2 = torch.nn.CrossEntropyLoss()(out2, lbl2) 
loss3 = torch.nn.CrossEntropyLoss()(out3, lbl3)

final_loss = loss1 + loss2 + loss3

然后您可以在 final_loss 上调用 .backward，然后计算梯度并反向传播它们。

此外，还可以对每个组件损失进行加权，其中权重本身是在训练过程中学习的。

可以引用combine-multiple-criterions-to-a-loss-function的讨论了解更多信息。