machine-learning - 您能否将 RBM 视为一种乘法神经网络？

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 9 年前。

Improve this question

神经网络对权重求和，但 RBM...将权重乘以概率？那么 RBM 是否有点像双向神经网络，将其权重相乘而不是相加？

Answer 1

首先，受限玻尔兹曼机是一种神经网络，因此神经网络和 RBM 之间没有区别。我认为“神经网络”实际上是指传统的前馈神经网络。另请注意，前馈神经网络和 RBM 都不被视为完全连接的网络。术语“完全连接”来自图论，意味着每个节点都与其他每个节点连接，但这里的情况显然不是这样。然而，这些层之间是完全连接的。

传统前馈神经网络

传统的FNN模型是supervised learning数据建模算法。为了训练这个网络，我们需要一个包含标记实例的数据集。将每个项目呈现给网络，连续计算网络上每一层的激活，直到到达输出层，然后将输出与目标输出(标签)进行比较。然后，通常使用 backpropagation算法获取每个单元的权重和偏差的梯度，以便通过 gradient descent 更新这些参数。通常，整个数据集或其中的批处理会一次性通过网络，并针对所有数据集计算参数更新。

RBM

RBM 模型是 Boltzmann machine 的一个版本模型的计算效率受到限制。 RBM 是同一层单元之间没有连接的 BM。这里不需详细介绍，但我会向您介绍一些外部资源。该算法有很多变体，网上的解释并没有明确说明这一点，对于没有经验的人来说也不是很有用。

神经网络是用于将模型拟合到数据集的算法。在 RBM 中，我们尝试使用 2 层节点来实现此目的:设置为输入的“可见层”和用于对输入层建模的“隐藏层”。至关重要的是，学习过程是unsupervised 。训练涉及使用隐藏层来重建可见层，并使用重建前后节点状态之间的差异来更新权重和偏差(我已经非常简化了这个解释；有关更多信息，请注意该训练算法称为对比散度(光盘))。另请注意，在此模型中神经元是按概率激活的。每层之间的连接是双向的，因此网络形成二部图。

重要的是，RBM ​​不会像 FNN 那样产生输出。因此，它们通常用于在添加输出层之前训练网络，并使用另一种算法(例如自动编码器)和 RBM 学习的权重。

查看这些资源:

• http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/
• http://halfbakedmaker.org/?p=11748
• http://deeplearning.net/tutorial/rbm.html
• https://en.wikipedia.org/wiki/Restricted_Boltzmann_Machine
• http://image.diku.dk/igel/paper/AItRBM-proof.pdf
• http://makandracards.com/mark/6817-bm-rbm-for-beginners

一般情况

任何网络的性能都取决于其参数和设计选择以及它所应用的问题。 RBM 和 FNN 适用于不同类型的问题。

我强烈推荐 Coursera 上 Geoffrey Hinton 的类(class)“Neural Networks for Machine Learning” - 该类(class)已经开课，但讲座是免费的。