neural-network - 用于异常值检测的复制器神经网络，导致相同预测的步进函数

Question

在我的项目中，我的目标之一是找出航空发动机数据中的异常值，并选择使用 Replicator Neural Network 来执行此操作并阅读有关它的以下报告 (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.12.3366&rep=rep1&type=pdf) 并且我对步骤有轻微的理解问题- wise 函数(第 4 页，图 3)以及由此产生的预测值。

复制器神经网络的解释在上面的报告中得到了最好的描述，但作为背景，我构建的复制器神经网络通过具有与输入相同数量的输出和具有以下激活函数的 3 个隐藏层来工作:

隐藏层 1 = tanh sigmoid S1(θ) = tanh,
隐藏层 2 = step-wise, S2(θ) = 1/2 + 1/(2(k − 1)) {summation each variable j} tanh[a3(θ −j/N)]
隐藏层 3 = tanh sigmoid S1(θ) = tanh,
输出第 4 层 = 正常 sigmoid S3(θ) = 1/1+e^-θ
我已经实现了算法，它似乎是在训练(因为在训练过程中均方误差稳步下降)。我唯一不明白的是，当应用具有逐步激活函数的中间层时，预测是如何进行的，因为它会导致 3 个中间节点的激活成为特定的离散值(例如，我对 3中间是 1.0, -1.0, 2.0 ) ，这会导致这些值向前传播，我每次都得到非常相似或完全相同的预测。

第 3-4 页报告中的部分最能描述算法，但我不知道我必须做什么来解决这个问题，我也没有太多时间:(

任何帮助将不胜感激。

谢谢

Answer 1

我面临着实现这个算法的问题，这里是我对您可能遇到的问题的见解:中间层，通过使用逐步函数，本质上是对数据执行聚类。每一层都将数据转换为一个离散的数字，可以将其解释为网格系统中的坐标。想象一下，我们在中间层使用两个神经元，其步进值范围从 -2 到 +2，增量为 1。这样我们定义了一个 5x5 的网格，其中将放置每组特征。您允许的步骤越多，网格就越多。网格越多，您拥有的“集群”就越多。

这一切听起来都不错。毕竟，我们将数据压缩成更小的(维度)表示，然后用于尝试重构为原始输入。

然而，这个逐步函数本身有一个大问题:反向传播(理论上)不适用于逐步函数。您可以在 this paper 中找到更多相关信息。 .在最后一篇论文中，他们建议将逐步函数切换为类似斜坡的函数。也就是说，拥有几乎无限数量的集群。

您的问题可能与此直接相关。尝试将逐步函数切换为斜坡函数，并测量误差在整个学习阶段的变化情况。

顺便说一句，您是否有任何此类代码可供其他研究人员使用？