- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我认为函数 TfidfVectorizer 没有正确计算 IDF 因子。例如,从 tf-idf feature weights using sklearn.feature_extraction.text.TfidfVectorizer 复制代码:
from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ["This is very strange",
"This is very nice"]
vectorizer = TfidfVectorizer(
use_idf=True, # utiliza o idf como peso, fazendo tf*idf
norm=None, # normaliza os vetores
smooth_idf=False, #soma 1 ao N e ao ni => idf = ln(N+1 / ni+1)
sublinear_tf=False, #tf = 1+ln(tf)
binary=False,
min_df=1, max_df=1.0, max_features=None,
strip_accents='unicode', # retira os acentos
ngram_range=(1,1), preprocessor=None, stop_words=None, tokenizer=None, vocabulary=None
)
X = vectorizer.fit_transform(corpus)
idf = vectorizer.idf_
print dict(zip(vectorizer.get_feature_names(), idf))
输出是:
{u'is': 1.0,
u'nice': 1.6931471805599454,
u'strange': 1.6931471805599454,
u'this': 1.0,
u'very': 1.0}`
但应该是:
{u'is': 0.0,
u'nice': 0.6931471805599454,
u'strange': 0.6931471805599454,
u'this': 0.0,
u'very': 0.0}
不是吗?我做错了什么?
而IDF的计算,根据http://www.tfidf.com/ , 是:
IDF(t) = log_e(Total number of documents / Number of documents with term t in it)
因此,当术语“this”、“is”和“very”出现在两个句子中时,IDF = log_e (2/2) = 0。
术语“strange”和“nice”仅出现在两个文档之一中,因此 log_e(2/1) = 0,69314。
最佳答案
在 sklearn 实现中发生了两件您可能意想不到的事情:
TfidfTransformer
将 smooth_idf=True
作为默认参数所以它正在使用:
idf = log( 1 + samples/documents) + 1
这是源码:
编辑:您可以像这样子类化标准 TfidfVectorizer
类:
import scipy.sparse as sp
import numpy as np
from sklearn.feature_extraction.text import (TfidfVectorizer,
_document_frequency)
class PriscillasTfidfVectorizer(TfidfVectorizer):
def fit(self, X, y=None):
"""Learn the idf vector (global term weights)
Parameters
----------
X : sparse matrix, [n_samples, n_features]
a matrix of term/token counts
"""
if not sp.issparse(X):
X = sp.csc_matrix(X)
if self.use_idf:
n_samples, n_features = X.shape
df = _document_frequency(X)
# perform idf smoothing if required
df += int(self.smooth_idf)
n_samples += int(self.smooth_idf)
# log+1 instead of log makes sure terms with zero idf don't get
# suppressed entirely.
####### + 1 is commented out ##########################
idf = np.log(float(n_samples) / df) #+ 1.0
#######################################################
self._idf_diag = sp.spdiags(idf,
diags=0, m=n_features, n=n_features)
return self
关于python - 使用来自 sklearn.feature_extraction.text.TfidfVectorizer 的 TfidfVectorizer 计算 IDF,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36756335/
我正在阅读此 article它说 Note that IDF is dependent on the query term (T) and the database as a whole. In pa
据我了解,IDF 用于计算有多少文档包含该术语(有点像想法)。您可以计算训练集中的 IDF(以及 TF),因为您事先拥有所有文档。但是,如果我事先没有测试集,并且以顺序方式获取测试文档(例如从网络爬虫
我运行具有 TF-IDF 和非 TF-IDF 特征的随机森林算法。 总共特征数量约为 130k(在对 TF-IDF 特征进行特征选择之后),训练集的观察数量约为 120k。 其中大约 500 个是非
在本书《TensorFlow Machine Learning Cookbook》的第七章中,作者在预处理数据时使用了scikit-learn的fit_transform函数来获取tfidf特征用于训
这是一个关于 ngram 线性回归的问题,使用 Tf-IDF(术语频率 - 逆文档频率)。为此,我使用 numpy 稀疏矩阵和 sklearn 进行线性回归。 使用一元语法时,我有 53 个案例和 6
我有一个大小为 208 的列表(208 个句子数组),它看起来像: all_words = [["this is a sentence ... "] , [" another one hello bo
我有一个包含几千行文本的数据集,我的目标是计算 tfidf 分数,然后计算文档之间的余弦相似度,这是我在 Python 中使用 gensim 按照教程所做的: dictionary = corpora
统计十篇新闻TF-IDF 统计TF-IDF词频,每篇文章的 top10 的高频词存储为 json 文件 TF-IDF TF-IDF(term frequency–inverse documen
我的数据库中有一个表,其中包含自由文本字段列。 我想知道每个单词在所有行中出现的频率,或者甚至计算所有单词的 TF-IDF,其中我的文档是该字段每行的值。 是否可以使用 Sql 查询来计算此值?如果没
我正在使用 ES 使用模糊搜索技术搜索大量人名。 TF适用于打分,IDF对我来说真的不需要。这真的是在冲淡分数。我仍然希望将 TF 和 Field Norm 应用于分数。 如何为我的查询禁用/抑制 I
我正在尝试使用Textacy计算整个标准语料库中单个单词的TF-IDF分数,但是对于我收到的结果有点不清楚。 我期待一个单一的浮点数,它代表了语料库中单词的出现频率。那么,为什么我会收到包含7个结果的
我想计算存储在 HBase 中的文档的 TF(词频)和 IDF(逆文档频率)。 我还想把计算出来的TF保存在一个HBase表中,也想把计算出来的IDF保存在另一个HBase表中。 你能指导我完成吗?
我现在在做文本分类。 TF-IDF 有没有比使用词频向量更糟糕的情况?怎么解释呢?谢谢 最佳答案 Both metrics ...discriminate along two dimensions –
我正在对文本文档进行聚类。我正在使用 tf-idf 和余弦相似度。然而,即使我正在使用这些措施,有些事情我还是不太明白。 tf-idf 权重会影响两个文档之间的相似度计算吗? 假设我有这两个文件: 1
我试图更好地了解 lucene 如何对我的搜索进行评分,以便我可以对我的搜索配置或文档内容进行必要的调整。 以下是分数明细的一部分。 产品: 0.34472802 = queryWeight,
我如何计算 tf-idf查询?我了解如何为具有以下定义的一组文档计算 tf-idf: tf = occurances in document/ total words in document idf
我使用 duinotech XC-3800 在 ESP32 芯片上使用 ESP IDF 测试运行裸机代码,并在图像大小方面获得以下结果。 ESP32 的分析二进制大小 文件夹结构 温度/ 主要的/ C
我有一个基于职位描述关键字的简历筛选候选人的用例。由于每次将新的候选人资料添加到内容列表时我都无法负担分数的变化(我认为IDF会发生变化),因此我想省略TF_IDF。 索引文件是 {
在嵌套字段上运行匹配查询时,是基于所有根文档中的所有嵌套文档还是仅基于单个根文档下的嵌套文档来计算每个嵌套文档的相关性得分?基本上,在计算TF / IDF时,用于IDF的集合的范围是什么? 这是一个嵌
我想使用tf-idf计算词频。我起草了一个方程式,您应该在左侧获取tf-idf值。这样对吗? DOCUMENT的TF-IDF: tf-idf(WORD) = occurrences(WORD,DOCU
我是一名优秀的程序员,十分优秀!