java - 比较文档 - 文档相似度

Question

我目前正在进行一个 NLP/IR 领域的 java 项目，对此还很陌生。该项目包含大约 1000 个文档的集合，其中每个文档大约有 100 个单词，结构为具有词频的词袋。我想根据文档(来自集合)找到类似的文档。

使用 TF-IDF，计算查询(给定文档)和集合中每个其他文档的 tf-idf，然后将这些值作为 vector 与余弦相似度进行比较。这能否让我们对它们的相似性有所了解？或者由于查询(文档)很大，这不合理吗？还有其他相似性度量可以更好地发挥作用吗？

感谢您的帮助

Answer 1

基于 TF-IDF 的相似度，通常使用余弦来将表示查询术语的 vector 与表示文档的 TF-IDF 值的一组 vector 进行比较，是计算“相似度”的常用方法。

请注意，“相似性”是一个非常通用的术语。在 IR 领域，您通常会谈论“相关性”。文本可以在很多层面上相似:使用相同的语言，使用相同的字符，使用相同的单词，谈论相同的人，使用类似的复杂语法结构等等 - 因此，有很多很多的衡量标准。在网络上搜索文本相似性，可以找到许多出版物，还可以找到实现不同措施的开源框架和库。

如今，“语义相似度”比传统的基于关键词的 IR 模型更受关注。如果这是您感兴趣的领域，您可以查看 SemEval 的结果2012-2015 年共同任务。