machine-learning - 多类分类中的成本函数是什么？

Question

我很难知道什么是神经网络的损失函数。对于二元分类问题，是否均方误差，如以下视频所述:https://www.youtube.com/watch?v=5u0jaA3qAGk&t=59s或者是这里定义的交叉熵http://work.caltech.edu/slides/slides09.pdf为什么？

此外，在多分类的情况下，我认为有类似softmax的东西，但我真的不知道它是如何工作的。有人可以正确地解释我吗？

谢谢!

Answer 1

理论上，您可以使用任何损失函数构建神经网络。您可以使用均方误差或交叉熵损失函数。归根结底，什么是最有效的。我所说的最有效是指:什么能让您更快和/或更准确地学习参数。

实际上，大多数神经网络倾向于使用交叉熵。许多神经网络初学者类(class)和教程都会向您展示均方误差，因为一​​开始它可能更直观、更容易理解。

这个article更详细地解释它，但让我引用一下:

When should we use the cross-entropy instead of the quadratic cost? In fact, the cross-entropy is nearly always the better choice, provided the output neurons are sigmoid neurons

关于softmax函数。您可能知道，每个神经元都有一个激活函数。通常该函数是 sigmoid 函数。 softmax 函数是另一种类型的激活函数，通常用于神经网络的最后一层。 softmax 函数有一个独特的属性。输出将是从 0 到 1 的值，并且该层中每个神经元的所有输出之和将等于 1。有效地指示概率。这使得它非常适合多类分类，因为它会给你每个类的概率，你可以选择概率最高的类。