python - F.relu(X) 和 torch.max(X, 0) 之间的区别

Question

我正在尝试实现以下loss function

对我来说，最直接的前言实现是使用 torch.max

losses = torch.max(ap_distances - an_distances + margin, torch.Tensor([0]))

但是，我看到了其他implementations on github使用F.relu

losses = F.relu(ap_distances - an_distances + margin)

它们提供基本相同的输出，但我想知道这两种方法之间是否有任何根本区别。

Answer 1

torch.max 根据此不可微分 discussion 。损失函数需要连续且可微才能进行反向传播。 relu 是可微分的，因为它可以被近似，因此可以在损失函数中使用它。