neural-network - ANN 多输出与单输出

Question

我最近开始研究 ANN，有一些我一直在试图弄清楚我似乎无法找到答案的东西(可能是因为它太琐碎了，或者因为我正在搜索错误的关键字......)。

什么时候使用多输出而不是单输出？我想在 1/0 分类的最简单情况下，最容易使用“符号”作为输出激活函数。但是在哪种情况下您会使用多个输出？例如，如果您有一个多分类问题，那么您是否想将某物分类为 A、B 或 C，并且您为每个类别选择 1 个输出神经元？你如何确定它属于哪个类？

Answer 1

在分类上下文中，在以下几种情况下使用多个输出单元会有所帮助:多类分类和显式置信度估计。

多类

对于多类情况，正如您在问题中所写的那样，您的网络中通常有一个输出单元用于您感兴趣的每一类数据。因此，如果您尝试将数据分类为 A、B 或 C 之一，您可以在标记数据上训练您的网络，但将所有“A”标签转换为 [1 0 0]，将所有“B”标签转换为 [0 1 0]，将“C”标签转换为 [0 0 1 ]。 (这称为 "one-hot" encoding 。)您可能还想使用 logistic activation将它们的激活值限制在区间 (0, 1) 内。

然后，当你训练你的网络时，优化“交叉熵”损失(而不是更直观的欧几里德距离损失)通常很有用，因为你基本上是在试图教你的网络输出概率给定输入的每个类。人们经常使用 "softmax" (有时也称为玻尔兹曼)分布来定义这个概率。

欲了解更多信息，请查看 http://www.willamette.edu/~gorr/classes/cs449/classify.html (稍微理论一些)和 http://deeplearning.net/tutorial/logreg.html (更多针对事物的代码方面)。

置信度估计

多输出的另一个很酷的用途是使用一个输出作为标准分类器(例如，只有一个输出单元生成 0 或 1)，第二个输出表示该网络对输入信号的分类的置信度(例如，另一个输出单元在区间 (0, 1) 中生成一个值)。

如果您在每个 A、B 和 C 类数据上训练了一个单独的网络，然后又将来自 D 类(或其他类)的数据提供给系统，这可能会很有用——在这种情况下，您'希望每个网络都表明他们不确定输出，因为他们以前从未见过 D 类的东西。