- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在 Tfidf.fit_transform 中,我们仅使用参数 X 而没有使用 y 来拟合数据集。这是正确的吗?我们仅为训练集的参数生成 tfidf 矩阵。我们没有使用 ytrain 来拟合模型。那么我们如何对测试数据集进行预测
最佳答案
https://datascience.stackexchange.com/a/12346/122很好地解释了为什么调用 fit()
、transform()
和 fit_transform()
。
总而言之,
fit()
:将矢量化器/模型拟合到训练数据,并将矢量化器/模型保存到变量(返回sklearn.feature_extraction .text.TfidfVectorizer
)
transform()
:使用 fit()
的变量输出来转换验证/测试数据(返回 scipy.sparse.csr.csr_matrix
)
fit_transform()
:有时你要直接转换训练数据,所以你使用 fit()
+ transform()
在一起,因此 fit_transform()
。 (返回scipy.sparse.csr.csr_matrix
)
例如
from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np
from scipy.sparse.csr import csr_matrix
# The *TfidfVectorizer* from sklearn expects list of strings as input.
sent0 = "The quick brown fox jumps over the lazy brown dog .".lower()
sent1 = "Mr brown jumps over the lazy fox .".lower()
sent2 = "Roses are red , the chocolates are brown .".lower()
sent3 = "The frank dog jumps through the red roses .".lower()
dataset = [sent0, sent1, sent2, sent3]
# Initialize the parameters of the vectorizer
vectorizer = TfidfVectorizer(input=dataset, analyzer='word', ngram_range=(1,1),
min_df = 0, stop_words=None)
[输出]:
# Learns the vocabulary of vectorizer based on the initialized parameter.
>>> vectorizer = vectorizer.fit(dataset)
# Apply the vectorizer to new sentence.
>>> vectorizer.transform(["The brown roses jumps through the chocholate dog ."])
<1x15 sparse matrix of type '<class 'numpy.float64'>'
with 6 stored elements in Compressed Sparse Row format>
# Output to array form.
>>> vectorizer.transform(["The brown roses jumps through the chocholate dog ."]).toarray()
array([[0. , 0.31342551, 0. , 0.38714286, 0. ,
0. , 0.31342551, 0. , 0. , 0. ,
0. , 0. , 0.38714286, 0.51249178, 0.49104163]])
# When you don't need to save the vectorizer for re-using.
>>> vectorizer.fit_transform(dataset)
<4x15 sparse matrix of type '<class 'numpy.float64'>'
with 28 stored elements in Compressed Sparse Row format>
>>> vectorizer.fit_transform(dataset).toarray()
array([[0. , 0.49642852, 0. , 0.30659399, 0.30659399,
0. , 0.24821426, 0.30659399, 0. , 0.30659399,
0.38887561, 0. , 0. , 0.40586285, 0. ],
[0. , 0.32107915, 0. , 0. , 0.39659663,
0. , 0.32107915, 0.39659663, 0.50303254, 0.39659663,
0. , 0. , 0. , 0.26250325, 0. ],
[0.76012588, 0.24258925, 0.38006294, 0. , 0. ,
0. , 0. , 0. , 0. , 0. ,
0. , 0.29964599, 0.29964599, 0.19833261, 0. ],
[0. , 0. , 0. , 0.34049544, 0. ,
0.4318753 , 0.27566041, 0. , 0. , 0. ,
0. , 0.34049544, 0.34049544, 0.45074089, 0.4318753 ]])
>>> type(vectorizer)
<class 'sklearn.feature_extraction.text.TfidfVectorizer'>
>>> type(vectorizer.fit_transform(dataset))
<class 'scipy.sparse.csr.csr_matrix'>
>>> type(vectorizer.transform(dataset))
<class 'scipy.sparse.csr.csr_matrix'>
关于python - TfidfVectorizer.fit_transfrom 和 tfidf.transform 之间有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53027864/
平时很少在jquery中用到this。查看代码时发现用到了,就调试出this的值,心想原来如此。还是挺有用的。这里总结一下this与$(this)的区别和使用。 $(this)生成的是什么?
使用单例类和应用程序范围的托管 bean 来保存应用程序数据有区别吗? 我需要查找某些 JNDI 资源,例如远程 bean 接口(interface),因此我为自己编写了一个单例来缓存我的引用并且只允
如果您仔细查看包含的图片,您会注意到您可以使用 Eclipse IDE 重构 Groovy 代码并将方法转换为闭包,反之亦然。那么,闭包到底是什么,它与方法有什么不同呢?有人可以举一个使用闭包的好例子
vagrant box repackage有什么区别( docs ) 和 vagrant package ( docs )? 我意识到 vagrant package仅适用于 VirtualBox 提
我想看看是否有人可以解释为什么以下代码适用于 valueOf 但不适用于其他代码。 import java.math.BigDecimal; public class Change { publ
这个问题已经有答案了: 已关闭12 年前。 Possible Duplicates: What is Closures/Lambda in PHP or Javascript in layman te
This question already has answers here: Vagrant, Docker, Puppet, Chef (3个答案) 2年前关闭。 docker和chef有什么共同
以下代码在95%的机器上产生相同的输出,但是在几台机器上却有所不同。在 Debug模式下,输出: Changing from New to Fin OK 但在 Release模式下: Changing
////Creating Object var Obj; // init Object Obj= {}; 它们之间有什么区别两个? 有没有可能把它变成一个单行? 这样使用有什么好处吗?
我想找出定时器服务之间的区别。我应该使用哪个以及何时使用。我正在使用 Jboss 应用服务器。 1) java.ejb.Schedule。 @Schedule注解或配置自xml。 2) javax.e
我发现在 C++ 中可以通过三种不同的方式将对象传递给函数。假设我的类(class)是这样的: class Test { int i; public: Test(int x);
有什么区别。 public class Test { public static void main(String args[]) { String toBeCast = "c
如果我有一列,设置为主索引,设置为INT。 如果我不将其设置为自动递增,而只是将唯一的随机整数插入其中,与自动递增相比,这是否会减慢 future 的查询速度? 如果我在主索引和唯一索引为 INT 的
这两种日期格式有什么区别。第一个给出实际时间,第二个给出时间购买添加时区偏移值。 NSDateFormatter * dateFormatter = [[NSDateFormatter alloc]
如果有一个函数,请说foo: function foo() { console.log('bar'); } 那么在 JavaScript 中,从另一个函数调用一个函数有什么区别,如下所示: f
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 4 年前。 Improv
代码是什么: class Time { private: int hours; int minutes; int seconds; pu
我知道这是非常基本的,但有人介意解释一下这两个数组声明之间的区别吗: #include array myints; ...和: int myints[5]; ...以及为什么 myints.size
我学会了如何根据 http://reference.sitepoint.com/css/specificity 计算 css 特异性但是,基于this reference,我不明白伪类(来自c)和伪元
为什么在运行 2) 时会出现额外的空行?对我来说 1 就像 2。那么为什么 2) 中的额外行? 1) export p1=$(cd $(dirname $0) && pwd) #
我是一名优秀的程序员,十分优秀!