c++ - 交叉熵误差计算

Question

我不完全理解交叉熵误差是如何计算的。由于某些负数的对数未定义(或虚数)并且神经网络的输出可能是某个负数(权重和偏差是随机初始化的)，因此我经常得到 NaN 作为结果。我该如何避免这种情况？

例子:

output[] = {-0.78, -0.98, 0.78, -0.68};
target[] = {-1.0,  -1.0,  1.0,   1.0};
error = ln(0.78) * 1.0 + ln(-0.68) * 1.0;

Answer 1

如果您的任务是二元分类，我建议您将目标值“-1”更改为“0”。在最后一层，输出层，你有两个神经元(每个类一个)。对于神经网络的输出，你应该使用 softmax function ，它为每个类分配概率(意思是，你没有负值)。最后，每个实例的输出是对应于这两个概率中较大者的类的标签。