search-engine - 如何克服逆文档频率(IDF)的缺点

Question

请告诉我如何克服 IDF 中的负权重问题。有人可以举个小例子吗？

Answer 1

IDF 定义为 N/n(t)，其中 n(t) 是出现术语“t”的文档数，N 是集合中文档的总数。有时，会在该分数周围应用 log()。

请注意，这个分数 N/n(t) 始终 >= 1。对于出现在所有文档中的单词，其可能的情况是英文单词“the”，idf 的值为 1。即使如果对这个分数应用对数，则该值始终 >= 零。 (回想一下 log 函数的图表，它从 -inf 单调增加到 +inf，如果 x<1 log(1)=0，则 log(x)<0；如果 x>1，则 log(x)>0)。

因此，idf 的标准定义不可能为负数。