java - 使用java程序计算余弦相似度

Question

我在计算相似性度量以为我的最终项目开发搜索引擎时遇到问题。

我必须在java中使用tf idf + cosine相似度，但我不知道如何计算它。

仅供引用，我有自己的数据库，其中包含 811 文档

Answer 1

要计算 vector u 和 v 的余弦相似度，请对 u 和 v 进行归一化，然后获得 u 和 v 的点积。这意味着 vector 具有相同的大小并且是数值 vector (参见 http://en.wikipedia.org/wiki/Cosine_similarity)，此类操作的编码为微不足道，有些人为你做了这件事，就像这里 http://acs.lbl.gov/software/colt/

在搜索引擎中，余弦相似度可以衡量对象 A 与 B 的匹配程度。您的查询是对象 A，计算数据库/商店/其他内容中所有对象 B 的余弦相似度，B 对象按降序排序相似。

如果你的对象是数值 vector ，那就很简单了。如果没有，那么您必须设计一种方法将对象转换为数字 vector 。例如，对于文本数据， vector 可以包含某些关键字在文本中出现的次数，称为“词袋模型”(参见 http://en.wikipedia.org/wiki/Bag_of_words_model )这样的模型完全忽略了单词之间的相互关系。一种更聪明的方法，考虑到单词之间的简单关系，可以计算给定文本中给定单词跟随另一个单词的概率，这是马尔可夫表示。该 vector 就是单词 x 跟随 y 的概率 vector 。