machine-learning - 为什么线性模型适用于图像分类？

Question

我正在深入研究机器学习的所有数学基础。我很清楚它在数学上是有效的，但有一点我无法理解。

我的问题很简单:

为什么线性模型在训练图像到字符(例如使用 notMNIST 数据集作为训练源)分类模型时有效？据我所知，使用线性模型，我们说输出是一个函数，是输入+偏置参数的线性函数。但我已经知道线性模型不适用于其他类型的应用程序。

那么，为什么它对此有效而不对其他人有效？

Answer 1

模型复杂度随要解决的问题而变化。 MNIST 是一个非常简单的情况，并且碰巧很容易受到线性组合的影响，因为输入(灰度中的正面数字)和输出(10 位数字之一)及其范围都很窄固有的差异。例如，4 和 9 具有不同的连通性，这是线性组合可以识别的属性。如果有足够的节点，MNIST 模型可以毫无问题地训练到 90 年代以上。

考虑 ILSVRC 图像集，其中区分取决于颜色、姿势、主体部分的相对比例(例如狼狗与 Poodle )以及其他大小特征。这些需要缩放、泛化、对干扰对象(例如前景中的灌木丛)的适应性和其他属性。足够大的线性网络可能会很好地区分 10 个类别，但不会精细区分 1000 个类别。

我刚刚找到了这个blog这有助于突出 MNIST 的一些复杂性......及其简化。