neural-network - 是否可以在看不见的数据(与输入数据不同的数据)上使用损失函数来训练神经网络？

Question

通常，损失函数可以定义为
L(y_hat, y) 或 L(f(X), y)，其中 f 是神经网络，X 是输入数据，y 是目标。
是否有可能实现(最好在 PyTorch 中)一个不仅取决于输入数据 X 还取决于 X' (X != X) 的损失函数？
例如，假设我有一个神经网络 f，输入数据 (X,y) 和 X'。我可以构造一个损失函数，使得

f(X) 尽可能接近 y，而且

f(X') > f(X)？

第一部分很容易实现(PyTorch:nn.MSELoss())，第二部分似乎更难。
P.S:这个问题是对 Multiple regression while avoiding line intersections using neural nets的重新表述，已关闭。在原始数据中，可以使用输入数据和带有理论示例的照片。

Answer 1

对的，这是可能的。
例如，您可以使用 ReLU 添加一个损失项，如下所示:

loss = nn.MSELoss()(f(X),y) + lambd * nn.ReLU()(f(X)-f(X'))

哪里 lambd是一个超参数。
请注意，这对应于 f(X') >= f(X)但它很容易修改为 f(X') > f(X)通过添加 epsilon<0 (绝对值足够小)ReLU 内部的常数。