tensorflow - 为什么使用 sigmoid 的神经网络的代码与使用 softmax_cross_entropy_with_logits 的代码如此不同？

Question

当使用神经网络进行分类时，据说:

• 您通常希望使用 softmax 交叉熵输出，因为这可以为您提供每个可能选项的概率。
• 在只有两个选项的常见情况下，您需要使用 sigmoid，除了避免冗余输出 p 和 1-p 之外，它的作用是相同的。

在 TensorFlow 中计算 softmax 交叉熵的方法似乎是这样的:

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction,labels=y))

因此输出可以直接连接到最小化代码，这很好。

我的 sigmoid 输出代码同样基于各种教程和示例，大致如下:

p = tf.sigmoid(tf.squeeze(...))
cost = tf.reduce_mean((p - y)**2)

我本以为两者在形式上应该相似，因为它们以几乎相同的方式执行相同的工作，但上面的代码片段看起来几乎完全不同。此外，sigmoid 版本明确对误差进行平方，而 softmax 则不然。 (平方是发生在 softmax 实现的某个地方，还是发生了其他事情？)

以上其中之一是完全错误的，还是有原因导致它们需要完全不同？

Answer 1

soft-max 交叉熵成本和 sigmoid 的平方损失成本是完全不同的成本函数。尽管它们看起来密切相关，但它们并不是同一件事。

如果工作被定义为“成为分类网络的输出层”，那么这两个函数确实“做相同的工作”。同样，你可以说“softmax回归和神经网络正在做同样的工作”。确实，这两种技术都试图对事物进行分类，但方式不同。

具有交叉熵成本的 softmax 层通常优于具有 l2 损失的 sigmoid 层。具有交叉熵的 Softmax 有其自身的优点，例如输出层的梯度更强以及对概率向量的归一化，而具有 l2-loss 的 sigmoid 的导数则较弱。您可以在 this 中找到大量解释。美丽的书。