neural-network - 为什么我们应该使用 RNN 而不是 Markov 模型？

Question

最近偶然发现this article ，我想知道你从循环神经网络得到的结果之间有什么区别，就像上面描述的那样，和一个简单的马尔可夫链会是什么。

我不太了解 RNN 底层发生的线性代数，但似乎您基本上只是在设计一种 super 复杂的方式来制作基于前一个字母的下一个字母的统计模型，在马尔可夫链中非常简单地完成的事情。

为什么 RNN 很有趣？仅仅是因为它们是一个更通用的解决方案，还是我遗漏了什么？

Answer 1

马尔可夫链采用马尔可夫性质，它是“无内存的”。下一个符号的概率是根据前 k 个符号计算的。在实践中，k 被限制为低值(比如 3-5)，因为转换矩阵呈指数增长。因此，隐马尔可夫模型生成的句子非常不一致。

另一方面，RNN(例如使用 LSTM 单元)不受马尔可夫特性的约束。它们丰富的内部状态允许它们跟踪远距离的依赖关系。

Karpathy 的博客文章逐个列出了由 RNN 生成的 C 源代码。该模型令人印象深刻地捕获了诸如左括号和右括号之类的依赖项。