gpt4 book ai didi

python - CountVectorizer MultinomialNB 中的维度不匹配错误

转载 作者:行者123 更新时间:2023-11-28 22:25:05 26 4
gpt4 key购买 nike

在我提出这个问题之前,我不得不说我已经彻底阅读了这个论坛上超过 15 个类似的主题,每个主题都有不同的建议,但所有这些都无法让我正确理解。

好的,所以我将我的“垃圾邮件”文本数据(最初为 csv 格式)拆分为训练集和测试集,使用 CountVectorizer 及其“fit_transform”函数来拟合语料库的词汇并从文本中提取字数特征。然后我应用 MultinomialNB() 从训练集中学习并对测试集进行预测。这是我的代码(简化):

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.cross_validation import train_test_split
from sklearn.naive_bayes import MultinomialNB

# loading data
# data contains two columns ('text', 'target')

spam = pd.read_csv('spam.csv')
spam['target'] = np.where(spam_data['target']=='spam',1,0)

# split data
X_train, X_test, y_train, y_test = train_test_split(spam_data['text'], spam_data['target'], random_state=0)

# fit vocabulary and extract word count features
cv = CountVectorizer()
X_traincv = cv.fit_transform(X_train)
X_testcv = cv.fit_transform(X_test)

# learn and predict using MultinomialNB
clfNB = MultinomialNB(alpha=0.1)
clfNB.fit(X_traincv, y_train)

# so far so good, but when I predict on X_testcv
y_pred = algo.predict(X_testcv)

# Python throws me an error: dimension mismatch

我从之前的问题线程中收集到的建议是 (1) 在 X_test 上仅使用 .transform(),或 (2) 确定原始垃圾邮件数据中的每一行是否为字符串格式(是的,它们是),或(3) 在 X_test 上什么也不做。但是他们都没有按铃,Python 一直给我“维度不匹配”错误。折腾了 4 个小时后,我不得不屈服于 Stackoverflow。如果有人能启发我,我将不胜感激。只是想知道我的代码出了什么问题以及如何使尺寸正确。

谢谢。

顺便说一下,原始数据条目是这样的

_

test target
0 Go until jurong point, crazy.. Available only 0
1 Ok lar... Joking wif u oni... 0
2 Free entry in 2 a wkly comp to win FA Cup fina 1
3 U dun say so early hor... U c already then say 0
4 Nah I don't think he goes to usf, he lives aro 0
5 FreeMsg Hey there darling it's been 3 week's n 1
6 WINNER!! As a valued network customer you have 1

最佳答案

您的 CountVectorizer 已经与训练数据相匹配。因此,对于您的测试数据,您只想调用 transform(),而不是 fit_transform()

否则,如果您对测试数据再次使用 fit_transform(),您会根据测试数据的独特词汇表获得不同的列。所以只适合一次训练。

X_testcv = cv.transform(X_test)

关于python - CountVectorizer MultinomialNB 中的维度不匹配错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45804133/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com