neural-network - 如何防止收敛到CNN回归问题的均值解？

Question

我正在训练一个 CNN 来预测手上的关节。问题是我的网络总是收敛到训练集的均值，对于不同的测试图像我只能得到相同的结果。你知道如何防止这种情况吗？

Answer 1

我想你一定在使用 MSECriterion() ?它是标准的 l2(最小平方误差)损失。虽然 CNN 试图预测结果，但有多种模式可以使结果正确。而 l2 loss 的作用是收敛到所有这些模式的平均值，因为这是它可以直观地获得惩罚较少的结果的最可行的方法。

The MSE-based solution appears overly smooth due to the pixel-wise average of possible solutions in the pixel space

要选择最佳答案模式，您可以查看 adversarial loss LINK .这种损失根据它所看到的数据认为是现实的来选择最佳模式。

如需进一步说明，请查看本文中的图 3: SRGAN