machine-learning - 用于协同过滤的 RBM

Question

我的协同过滤 RBM 算法不会收敛...我认为 RBM 协同过滤的想法是

1. 初始 w 、 b 、 c 和 [0,1] 处的随机

2. 按用户钳制数据 -> 可见(softmax)

   隐藏 = sigmoid(b+W*V)

   在隐藏上运行吉布斯 -> Hidden_​​gibbs

   正=隐藏*可见

   隐藏->重建->重建可见

   在reconstruct_visible ->reconstruct_visible_gibbs 上运行吉布斯

   负数 = Hidden_​​gibbs*reconstruct_visible_gibbs

   结束

3. 更新

   w = w +(正负)/Number_User

   b = b +(可见-reconstruct_visible_gibbs)/Number_User

   c = c +(隐藏 - Hidden_​​gibbs)/Number_User

我看过很多论文或讲座，但不知道哪里错了

Answer 1

这不是一个简单的问题!你对学习过程的描述看起来不错。但是，从描述到实际代码，存在很大的错误空间。另外，对于 CF，“普通”RBM 不起作用。

• 你是如何实现可见的“softmax”单位的？

• 您是否按照原始作品 [1] 中的建议使用“单用户”数据集训练 RBM？

还有 2 个关于权重更新和预测过程的细节与 vanilla 的 RBM 略有不同

[1] 萨拉胡迪诺夫 http://www.machinelearning.org/proceedings/icml2007/papers/407.pdf