neural-network - 神经网络能否根据不在其训练集中的模式预测结果

Question

这听起来像是一个开放式问题，我提前道歉。我知道神经网络可以根据训练数据集中的模式预测结果。神经网络能否根据未观察到的模式预测结果。如果不是，那么应该使用什么样的算法来处理这样的问题。

Answer 1

大多数神经网络应用都在监督学习的基础上运行，这意味着算法会获得有关其性能的反馈。该算法使用反馈来调整网络权重。这种调整最常见的机制是反向传播，但还有其他机制。

训练集与训练信号。

您的问题提到了训练集。然而，神经网络需要反馈的事实并不一定意味着训练集的存在，那只是一种选择。有时可以直接从网络运行的环境中感知反馈。

没有训练集的反馈示例:

(1) 想象一个正在接受训练以自动平衡一根杆子的神经网络。反馈可能来自加速度计数据，并最终决定每个平衡任务的成功或失败。

(2) 想象一个正在接受训练以光学识别字符的神经网络。可用于此目的的大型训练集。但是，反馈也可能来自与人类表现或与其他 OCR 技术输出的比较。

然而，无论是否有训练集，仍然有训练信号。一般而言，在没有训练信号的情况下，神经网络无法有效地预测(稍后会详细介绍)。

赫布学习。

在没有训练信号的情况下，神经网络学习的起点是 Hebb 学习。 Hebb 的假设是:

When an axon of cell A is near enough to excite cell B or repeatedly or consistently takes part in firing it, some growth or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased.

互联网将其简洁地概括为“一起发射的细胞，连接在一起”。如果您有兴趣，可以看看 Linsker 和 von der Malsburg 的作品。他们的研究涉及视觉皮层中自组织的出现，主要受生物学驱动。

矢量量化。

即使没有可用的训练信号，也有一些算法可以对数据产生有意义的洞察力。这种洞察力可能采取分类而不是预测的形式。例如，一个算法可以将输入分成 n 个组，但它不能说出任何特定组的成员是更好还是更差:只是他们不同.这称为“聚类分析”。也许最成功的此类算法是矢量量化。

无监督学习中常用的方法是竞争性学习。该算法不是响应训练信号，而是在自身内部竞争以理解数据。这种策略的一个例子是赢家通吃，其中最强的放电神经元被认为是最成功的。

自组织特征映射

回到神经网络，有一种神经网络算法在无监督学习下运行以执行聚类分析。这是自组织特征映射 (SOFM)，也称为 Kohonen 映射。 SOFM 使用竞争性学习来训练神经网络。

数字。维基百科的自组织 map 。 (归因:Denoir - 使用我自己的软件，CC BY-SA 3.0，https://en.wikipedia.org/w/index.php?curid=40452073)

在 SOFM 中，接近意味着相似。

回到问题，矢量量化和 SOFM 都不需要训练集或训练信号。尽管如此，这些算法还是能够识别数据中的模式(见图)。