text - 有哪些经过验证且真实的推荐相关文章的算法？

Question

我敢打赌，这种情况很常见。您有一个博客或新闻网站，并且有大量文章或博客或无论您如何调用它们，并且您想在每篇文章的底部推荐其他似乎相关的内容。

假设有关每个项目的元数据非常少。也就是说，没有标签、类别。将其视为一大块文本，包括标题和作者姓名。

您如何找到可能相关的文档？

我对实际的算法非常感兴趣，而不是现成的解决方案，尽管我可以看看用 ruby​​ 或 python 实现的东西，或者依赖 mysql 或 pgsql。

编辑:当前的答案非常好，但我想看到更多。也许有一些非常简单的示例代码用于一两件事。

Answer 1

这是一个相当大的话题——除了人们在这里给出的答案之外，我建议跟踪一些信息检索类(class)的教学大纲，并查看为其分配的教科书和论文。也就是说，以下是我自己研究生时代的简要概述:

最简单的方法称为 bag of words 。每个文档都被简化为 {word: wordcount} 对的稀疏向量，您可以在表示文档集的向量集中抛出 NaiveBayes(或其他一些)分类器，或者计算相似度每个包与其他每个包之间的分数(这称为 k 最近邻分类)。 KNN 查找速度很快，但需要 O(n^2) 存储分数矩阵；然而，对于博客来说，n 并不是很大。对于大报纸大小的东西，KNN 很快就变得不切实际，因此动态分类算法有时会更好。在这种情况下，您可能会考虑 ranking support vector machine 。 SVM 很简洁，因为它们不会将您限制在线性相似性度量上，而且速度仍然相当快。

Stemming是词袋技术的常见预处理步骤；这涉及到在计算词袋之前将形态相关的单词(例如“cat”和“cats”、“Bob”和“Bob's”或“similar”和“similarly”)减少到其词根。有很多不同的词干算法；维基百科页面有几个实现的链接。

如果词袋相似度不够好，您可以将其抽象为 N 元语法袋相似度，在其中创建表示基于单词对或三元组的文档的向量。 (您可以使用 4 元组甚至更大的元组，但实际上这没有多大帮助。)这样做的缺点是会产生更大的向量，并且分类将相应地需要更多工作，但您获得的匹配会更接近从句法上来说。 OTOH，您可能不需要这个来实现语义相似性；它更适合诸如抄袭检测之类的事情。 Chunking ，或者将文档简化为轻量级解析树，也可以使用(有树的分类算法)，但这对于诸如作者身份问题之类的问题更有用(“给定一个来源不明的文档，谁写的？”) .

也许对您的用例更有用的是概念挖掘，它涉及将单词映射到概念(使用同义词库，例如 WordNet )，然后根据所使用的概念之间的相似性对文档进行分类。这通常比基于单词的相似性分类更有效，因为从单词到概念的映射是简化的，但预处理步骤可能相当耗时。

最后，有 discourse parsing ，其中涉及解析文档的语义结构；您可以在话语树上运行相似性分类器，就像在分块文档上运行相似性分类器一样。

这些几乎都涉及从非结构化文本生成元数据；在原始文本 block 之间进行直接比较是很困难的，因此人们首先将文档预处理为元数据。