machine-learning - 不同成本函数优缺点

Question

我已经看到了book和吴恩达的神经网络成本函数，我注意到吴恩达的成本函数与神经网络的书籍不同。吴恩达的用途J(θ)=−(1/m)ΣΣ[y * log((hθ(x)))+(1−y) * log(1−(hθ(x)))] 而本书使用均方误差。

每个误差公式的优缺点是什么？

Answer 1

第一个成本函数，即交叉熵损失或对数损失，用于衡量输出介于 0 和 1 之间的分类模型的性能。与实际标签的偏差越大，交叉熵就越高损失。例如，当实际值为 1 时预测概率为 0.6 是一个不好的结果，并且会导致较高的损失值。当交叉熵损失为 0 时，模型被认为是完美的。

MSE 衡量模型预测与实际标签差异的平均值。我们可以将其视为模型在训练集上的性能，因此，当模型在训练集上的性能较差时，成本会更高。也称为 L2 损失。训练模型时，任务是最小化估计目标值与实际目标值之间的平方差。