machine-learning - 喀拉斯 : multiclass classification Dense layer

Question

我已经看到我们可以使用Dense(num_classes, ...)作为输出层，但我也看到Dense((num_classes-1), .. .) 尤其是在谈论二元分类时。您使用哪一个以及为什么？

Answer 1

这是我的 2 美分，

我使用 Dense(num_classes) 因为我可以在该层的输出上计算 softmax。

对于二元分类，我们通常使用交叉熵作为损失函数。因此，我们只需要计算 p(x = 1)，p(x = 0) 就可以计算为 1 - p(x=1)。

对于多类分类，将输出大小减少 1 的唯一好处是减少参数数量，因为我们可以计算 p(x = k) = 1 - sum_{i=1}^K p(x= i)，假设 K 是类别数。因此，如果您打算不使用 softmax 而是使用不同的函数，也许您可​​以让输出层具有 (num_classes - 1) 个单位。