gpt4 book ai didi

python - 将列添加到 Tfidf 矩阵

转载 作者:太空宇宙 更新时间:2023-11-03 12:27:33 25 4
gpt4 key购买 nike

我想使用单词以及一些附加功能(例如,有链接)在文本上建立分类模型

tweets = ['this tweet has a link htt://link','this one does not','this one does http://link.net']

我使用 sklearn 获取我的文本数据的稀疏矩阵

tfidf_vectorizer = TfidfVectorizer(max_df=0.90, max_features=200000,
min_df=0.1, stop_words='english',
use_idf=True, ntlk.tokenize,ngram_range=(1,2))

tfidf_matrix = tfidf_vectorizer.fit_transform(tweets)

我想向其中添加列以支持我的文本数据的其他功能。我试过:

import scipy as sc

all_data = sc.hstack((tfidf_matrix, [1,0,1]))

这给我的数据看起来像这样:

array([ <3x8 sparse matrix of type '<type 'numpy.float64'>'
with 10 stored elements in Compressed Sparse Row format>,
1, 1, 0], dtype=object)

当我将此数据框提供给模型时:

`from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB().fit(all_data, y)`

我收到回溯错误:

`Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Anaconda\lib\site- packages\spyderlib\widgets\externalshell\sitecustomize.py", line 580, in runfile
execfile(filename, namespace)
File "C:/Users/c/Desktop/features.py", line 157, in <module>
clf = MultinomialNB().fit(all_data, y)
File "C:\Anaconda\lib\site-packages\sklearn\naive_bayes.py", line 302, in fit
_, n_features = X.shape

ValueError: 需要超过 1 个值才能解包`

编辑:数据的形状

`tfidf_matrix.shape
(100, 2)
all_data.shape
(100L,)`

我可以将列直接附加到稀疏矩阵吗?如果没有,我应该如何将数据转换为可以支持的格式?我担心稀疏矩阵以外的其他东西会增加内存占用。

最佳答案

“我可以将列直接附加到稀疏矩阵吗?” - 是的。你可能应该这样做,因为解包(使用 todensetoarray)很容易导致大型语料库中的内存爆炸。

使用 scipy.sparse.hstack :

import numpy as np
import scipy as sp
from sklearn.feature_extraction.text import TfidfVectorizer

tweets = ['this tweet has a link htt://link','this one does not','this one does http://link.net']
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform(tweets)
print tfidf_matrix.shape

(3, 10)

new_column = np.array([[1],[0],[1]])
print new_column.shape

(3, 1)

final = sp.sparse.hstack((tfidf_matrix, new_column))
print final.shape

(3, 11)

关于python - 将列添加到 Tfidf 矩阵,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29653321/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com