machine-learning - 输出具有外部非线性函数的神经网络

Question

我有兴趣在一个可能不寻常的环境中尝试神经网络。

神经网络的输入是一个向量。输出也是一个向量。然而，训练数据和误差不是直接在此输出向量上计算的，而是该输出向量的(非线性)函数。因此，在每个时期，我需要激活神经网​​络，找到一个输出向量，将其应用于我的(外部)非线性函数以计算新的输出向量。然而，这个新的输出向量的长度为 1，并且误差是基于这个单个输出来计算的。

一些问题:

1. 这是 NN 可能有用的事情吗？
2. 这是一个众所周知的结构吗？
3. 有什么想法可以解决这个问题吗？

Answer 1

1. 原则上是的。

2. 是的，这就是 softmax 单元的作用。它获取输出层的激活并从中计算单个值，然后使用该值计算误差。

3. 您需要知道多元函数的偏导数(我们称之为f)。从那里，您可以使用链式法则计算 f 参数中误差的导数，并反向传播误差导数。