machine-learning - 神经网络或任何其他监督学习算法可以学习特殊的统计方法吗？

Question

我知 Prop 有任意数量隐藏层的神经网络可以逼近非线性函数，但它甚至可以预测一些特殊函数，尤其是与某些统计方法相同的函数吗？

假设分类问题的统计规则如下。对于训练集输入 X_train 和输出 Y_train，我们计算 X_train 属于每个特定类的几何平均值(即每个特定类的 X_train 的中心)。因此，对于每个类，我们都有一个中心 X。现在，对于测试数据，我们通过找到到训练中心的最短欧氏距离来估计类标签。例如，假设训练给我们提供了以下映射的中心:(-1,1,1)->0，(1,1,1)->1。那么对于一个测试数据(-0.8,0.5,1)，由于它更接近(-1,1,1)，所以它应该属于0类。

问题是我不知道是否有任何监督学习方法可以做到上述策略。我将其称为“监督 k 均值”。 KNN 方法类似，但它基于 N 个最近点而不是所有训练点的平均值来查找标签。

我想知道神经网络是否可以做到这一点。或者我是否怀念其他可以真正实现上述策略的学习技巧？如果我尝试学习的统计策略更复杂(例如包括中心方差和协方差)怎么办？

Answer 1

使用神经网络来解决这样的问题有点过头了。

Linear discriminant analysis和 Gaussian naive Bayes做一些类似于你所描述的事情。他们将每个类别的中心估计为算术平均值，并将每个点与最近的中心相关联。但他们计算的是修正距离而不是欧几里得距离:GNB 估计每个特征的条件方差，LDA 也估计协方差。他们还考虑了先前类别的概率。这些修改可能会改善您的分类，但如果您不需要它们，您可以自己编写一个算法。