python - 二元交叉熵与 2 个类别的分类交叉熵

Question

当考虑将输入分类为 2 个类别之一的问题时，我看到的 99% 的示例都使用具有单个输出和 sigmoid 的神经网络作为其激活，然后是二元交叉熵损失。我想到的另一个选择是让最后一层产生 2 个输出，并使用 C=2 类的分类交叉熵，但我从未在任何示例中看到它。有什么理由吗？

谢谢

Answer 1

如果您在两个输出网络之上使用 softmax，您将得到的输出在数学上相当于使用 sigmoid 的单个输出> 在顶部。
算一下，你就会明白。

在实践中，根据我的经验，如果您查看两个输出网络的原始“logits”(在 softmax 之前)，您会发现其中一个正好是另一个的负数。这是梯度将每个神经元完全拉向相反方向的结果。

因此，由于两种方法是等效的，单输出配置的参数较少，需要的计算量也较少，因此使用带有 sigmoid ob top 的单输出更有利。