algorithm - 根据内容对文本进行优先排序

Question

如果您有一个文本列表和一个对某些主题感兴趣的人，那么处理为给定的人选择最相关的文本的算法是什么？

我认为这是一个相当复杂的话题，作为一个答案，我希望有几个方向可以研究文本分析、文本统计、人工智能等各种方法。

谢谢

Answer 1

有很多算法可以完成这项任务。至少太多了，无法在这里一一提及。首先是一些起点:

• 主题发现和推荐是两个截然不同的任务，尽管它们经常重叠。如果您拥有稳定的用户群，您或许可以在不发现任何主题的情况下提供非常好的推荐。

• 发现主题并为其指定名称也是两个不同的任务。这意味着通常更容易分辨文本 A 和文本 B 共享相似的主题，而不是明确地说明这个共同主题可能是什么。为主题命名最好由人来完成，例如让他们标记项目。

现在来看一些实际的例子。

• TF-IDF 通常是一个很好的起点，但它也有严重的缺点。例如，它无法判断两个文本中的“汽车”和“卡车”是否意味着这两个文本可能共享一个主题。

• http://websom.hut.fi/websom/用于自动聚类数据的 Kohonen 映射。它学习主题，然后按主题组织文本。

• http://de.wikipedia.org/wiki/Latent_Semantic_Analysis将能够通过检测不同单词之间的语义相似性来增强 TF-IDF。另请注意，这已获得专利，因此您可能无法使用它。

• 一旦您拥有一组由用户或专家分配的主题，您还可以尝试几乎任何一种机器学习方法(例如 SVM)将 TF-IDF 数据映射到主题。