python - tfidf vectorizer 给出错误的结果

Question

我有如下文件

1             NAME LASTNAME DOB CITY
2                     NAME ADDRESS CITY
3            NAME LASTNAME ADDRESS CITY
4    NAME LASTNAME ADDRESS CITY PINCODE
5                  NAME ADDRESS PINCODE

和TfidfVectorizer给出了以下值

    address      city      dob  employername  lastname  mobile      name  \
0  0.000000  0.306476  0.68835           0.0  0.553393     0.0  0.354969   
1  0.573214  0.535492  0.00000           0.0  0.000000     0.0  0.620221   
2  0.412083  0.384964  0.00000           0.0  0.695116     0.0  0.445875   
3  0.357479  0.333954  0.00000           0.0  0.603009     0.0  0.386795   
4  0.493437  0.000000  0.00000           0.0  0.000000     0.0  0.533901   

   phone   pincode  
0    0.0  0.000000  
1    0.0  0.000000  
2    0.0  0.000000  
3    0.0  0.497447  
4    0.0  0.686637  

从上面看，文档 1 和 3 都有“名称”术语，也没有。两个文档中的术语相同，因此 tf(name) 在两种情况下都应该相同。 idf 也是一样的。但为什么“名称”特征在两个文档中具有不同的 tfidf 值？

请帮助我理解这一点。

我实际上有很多文件并在所有这些文件上应用了 tfidf，上面给出的是前 5 条数据记录。

Answer 1

那是因为 norm='l2' 是默认设置。这意味着它是 L2 归一化矩阵，使所有值都在 0 和 1 之间。

您可以使用 norm=None 将其关闭，您将获得与 Tfidf 相同的值 -

doc = ["NAME LASTNAME DOB CITY", "NAME ADDRESS CITY", 
       "NAME LASTNAME ADDRESS CITY", 
       "NAME LASTNAME ADDRESS CITY PINCODE", "NAME ADDRESS PINCODE"]

from sklearn.feature_extraction.text import TfidfVectorizer

vec = TfidfVectorizer(norm=None)
tf_idf = vec.fit_transform(doc)

print(vec.get_feature_names())
print(tf_idf.todense())

输出

['address', 'city', 'dob', 'lastname', 'name', 'pincode']
[[ 0.          1.18232156  2.09861229  1.40546511  1.          0.        ]
 [ 1.18232156  1.18232156  0.          0.          1.          0.        ]
 [ 1.18232156  1.18232156  0.          1.40546511  1.          0.        ]
 [ 1.18232156  1.18232156  0.          1.40546511  1.          1.69314718]
 [ 1.18232156  0.          0.          0.          1.          1.69314718]]

P.S:规范化特征矩阵总是更好

更新使用 L2 范数，每个数字除以行平方和的平方根。示例 - 对于第 1 行:第 4 列，1.40546511 将除以第 1 行平方和的平方根。这是显示此代码的代码 -

import math
first_doc = tf_idf.todense()[0].tolist()[0]
l2 = math.sqrt(sum([i*i for i in first_doc]))
print(l2)
print([i/l2 for i in first_doc])

输出

2.9626660243635254
[0.0, 0.39907351927997176, 0.7083526362438907, 0.4743920160255332, 0.3375338265523302, 0.0]

在这种情况下，我只是手动计算了 TfidfVectorizer 使用 norm='l2' 会做什么。请注意所有值如何介于 0 和 1 之间。这是规范化数据的技术之一。归一化有助于算法更快地收敛并具有更高的准确性。我希望这能解决问题。