neural-network - 估计神经网络的平均误差超平面

Question

我有一个神经网络，我需要估计平均超平面，该超平面指示所有训练示例的平均误差。训练示例一次性全部呈现。例如，如果我有一个单变量函数，那么我需要找到表示函数平均值的线。对于我的应用程序，不需要精确的平均值，启发式也可以。

所有训练示例中每个输出神经元的平均输出。其中:

t_j' = sum_i_1_to_N (t_i_j)/N            

训练示例的每个输出神经元的平均输出(上面计算的)与每个示例的实际目标输出之间的平方差之和:

Avg Error = 1/2 * sum_i_1_to_N (sum_j_1_C (t_j' - t_i_j))^2)

这是一种启发式方法，但我想知道它如何保持特定训练集的平均误差恒定。

这种方式有效吗？有没有更好的方法来找到固定训练集的神经网络的平均值(某种程度)？

Answer 1

在不了解您的问题的更多信息的情况下，我会说不。

Avg Error = 1/2 * sum_i_1_to_N (sum_j_1_C (t_j' - t_i_j))^2)

上面看起来更像是标准差而不是平均值。这不会告诉你太多，考虑一下:

错误 = sum_i_1_to_N (sum_j_1_C ( ABS(c_j' - t_i_j) ))

(其中 c_j 是 j 处的正确输出)

现在您正在寻找计算成本低的数字，它与数值平均值具有相同的目的(您可以将所有数字除以 N 以获得实际平均值，但您为什么要麻烦呢？)。 RMS 看起来像这样:

ErrorRMS = sum_i_1_to_N (sum_j_1_C ( ABS(e_j' - t_i_j)^2 ))

您想要 RMS 还是平均值取决于您的问题，但通常情况下，这并不重要(具有较低 RMS 的集合往往无论如何都会有较低的平均值，所以你大部分都在发展同样的东西)。

请注意，Error 和 ErrorRMS 这些实际上并不是平均值或 RMS 值，但它们的排名相同，而且获取起来更便宜。

除此之外，假设您有一个具有多个输出的神经网络，通过多个步骤进行操作(从而产生您正在谈论的错误超平面)，那么我首先建议以稍微不同的方式构建问题。

你应该拥有一个具有超过 1 个输出的神经网络的唯一原因是输出只能通过相互关联来理解。否则，您应该训练 N 个神经网络，而不是 1 个具有 N 输出的神经网络。话虽如此，如果您无法通过一个步骤产生一个错误来描述网络的所有输出，也许您应该将其划分为多个网络？然后，您可以简单地获取测试网络的样本的误差的 RMS 或直接平均值。

这有意义吗？