machine-learning - 深度置信网络与卷积神经网络

Question

我是神经网络领域的新手，我想知道深度置信网络和卷积网络之间的区别。另外，是否有深度信念和卷积神经网络相结合的深度卷积网络？

这是我到目前为止收集到的。如果我错了，请纠正我。

对于图像分类问题，深度置信网络具有许多层，每个层都使用贪婪的逐层策略进行训练。例如，如果我的图像大小是 50 x 50，并且我想要一个 4 层的深度网络

1. 输入层
2. 隐藏层 1 (HL1)
3. 隐藏层 2 (HL2)
4. 输出层

我的输入层将有 50 x 50 = 2500 个神经元，HL1 = 1000 个神经元(假设)，HL2 = 100 个神经元(假设)，输出层 = 10 个神经元， 为了训练输入层和 HL1 之间的权重 (W1)，我使用自动编码器 (2500 - 1000 - 2500) 并学习大小为 2500 x 1000 的 W1(这是无监督学习)。然后，我通过第一个隐藏层前馈所有图像以获得一组特征，然后使用另一个自动编码器(1000 - 100 - 1000)获得下一组特征，最后使用 softmax 层(100 - 10)进行分类。 (仅学习最后一层(HL2 - 输出，即softmax层)的权重是监督学习)。

(我可以使用 RBM 而不是自动编码器)。

如果使用卷积神经网络解决了同样的问题，那么对于 50x50 输入图像，我将仅使用 7 x 7 block (例如)开发一个网络。我的图层是

1. 输入层(7 x 7 = 49 个神经元)
2. HL1(25 个神经元，25 个不同的特征)-(卷积层)
3. 池化层
4. 输出层 (Softmax)

为了学习权重，我从大小为 50 x 50 的图像中获取 7 x 7 个补丁，并通过卷积层前馈，因此我将拥有 25 个不同的特征图，每个特征图的大小为 (50 - 7 + 1) x ( 50 - 7 + 1) = 44 x 44。

然后，我使用一个 11x11 的窗口来池化手，因此获得 25 个大小为 (4 x 4) 的特征图作为池化层的输出。我使用这些特征图进行分类。

在学习权重时，我没有使用深度置信网络(无监督学习)中的逐层策略，而是使用监督学习并同时学习所有层的权重。这是正确的还是有其他方法来学习权重？

我的理解正确吗？

因此，如果我想使用 DBN 进行图像分类，我应该将所有图像调整为特定大小(例如 200x200)，并在输入层中拥有那么多神经元，而对于 CNN，我只在较小的神经元上进行训练输入的补丁(例如，对于大小为 200x200 的图像，为 10 x 10)并对整个图像上学习到的权重进行卷积？

DBN 是否提供比 CNN 更好的结果，还是完全依赖于数据集？

谢谢。

Answer 1

一般来说，DBN 是堆叠受限玻尔兹曼机 (RBM) 的生成神经网络。您可以将 RBM 视为生成式自动编码器；如果你想要一个深度信念网，你应该堆叠 RBM，而不是简单的自动编码器，因为 Hinton 和他的学生 Yeh 证明了堆叠 RBM 会产生 sigmoid 信念网。

在当前关于 MNIST 等基准计算机视觉数据集的文献中，卷积神经网络本身比 DBN 表现得更好。如果数据集不是计算机视觉数据集，那么 DBN 绝对可以表现得更好。理论上，DBN 应该是最好的模型，但目前很难准确估计联合概率。您可能对李等人感兴趣。 al (2009) 关于卷积深度置信网络的工作希望将两者结合起来。