artificial-intelligence - 使用马尔可夫链(或类似的东西)来生成 IRC 机器人

Question

我尝试用谷歌搜索，但发现几乎没有什么我能理解的。

我明白了Markov chains到一个非常基本的水平:这是一个数学模型，仅依赖于先前的输入来改变状态..所以某种有限状态机具有加权随机机会而不是不同的标准？

我听说你可以使用它们来生成半智能的废话，给定现有单词的句子用作各种字典。

我想不出搜索词来找到这个，所以有人可以链接我或解释我如何生成给出半智能答案的东西吗？ (如果你问它关于馅饼的事，它不会开始谈论它听说过的越南 war )

我的计划是:

• 让该机器人在 IRC channel 中闲置一段时间
• 从字符串中删除所有用户名并将其存储为句子或其他内容
• 随着时间的推移，将此作为上述内容的基础。

Answer 1

是的，马尔可夫链是具有概率状态转换的有限状态机。要使用简单的一阶马尔可夫链生成随机文本:

1. 从语料库(文本集合)收集二元组(相邻词对)统计信息。
2. 创建一个每个单词一个状态的马尔可夫链。为文本结尾保留特殊状态。
3. 从状态/单词x跳转到y的概率是紧随x之后的单词y的概率 em>，根据训练语料库中的相对二元词频率估计。
4. 从随机单词 x 开始(可能由该单词作为语料库中句子的第一个单词出现的频率决定)。然后选择一个状态/单词y随机跳转，同时考虑y跟随x的概率(状态转换概率)。重复此操作，直到到达文本结尾。

如果你想从中得到一些半智能的东西，那么你最好的办法就是在大量仔细收集的文本上训练它。 “lots”部分使其以高概率生成正确的句子(或看似合理的 IRC 语言)； “精心收集”部分意味着您可以控制它所谈论的内容。引入高阶马尔可夫链在这两个领域也有帮助，但需要更多的存储空间来存储必要的统计数据。您还可以研究统计平滑等内容。

然而，让你的 IRC 机器人真正响应所说的内容比马尔可夫链需要很多。可以通过 text categorization 来完成(又名主题识别)，然后选择特定领域的马尔可夫链来生成文本。朴素贝叶斯是一种流行的主题发现模型。

Kernighan 和 Pike 在 The Practice of Programming探索马尔可夫链算法的各种实现策略。 Jurafsky 和 ​​Martin 深入探讨了这些内容以及一般的自然语言生成，Speech and Language Processing .