softmax - Softmax 交叉熵是否适用于多标签分类？

Question

如前所述 here ，交叉熵不是多标签分类的合适损失函数。我的问题是“这个事实是否也适用于 softmax 的交叉熵？”。如果是，如何与this part匹配的文件。

我应该提到我的问题的范围在cntk。

Answer 1

多标签分类通常意味着“许多二进制标签”。考虑到这个定义，softmax 的交叉熵不适用于多标签分类。您提供的第二个链接中的文档讨论的是多类问题而不是多标签问题。带有 softmax 的交叉熵适用于多类分类。对于多标签分类，一个常见的选择是使用每个标签的二元交叉熵之和。二元交叉熵可以用 Logistic 计算在 Brainscript 中或使用 binary_cross_entropy在 Python 中。

另一方面，如果您遇到许多多类标签的问题，那么您可以对每个标签使用 cross_entropy_with_softmax，CNTK 将自动对所有这些损失值求和。