gpt4 book ai didi

python - 如何在 scikit-learn 的 MultinomialNB Pipeline 训练模型中提取单词特征?

转载 作者:太空宇宙 更新时间:2023-11-04 00:57:58 24 4
gpt4 key购买 nike

# Note: The runnable code example is at the end of this question ####
# Assume X_train contains cleaned sentence text as input data. Y_train are class labels.
# parameters stores the parameter to be tried by GridSearchCV

text_clf_Pipline_MultinomialNB = Pipeline([('vect', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', MultinomialNB()),
])
gs_clf = GridSearchCV(text_clf_Pipline_MultinomialNB, parameters, n_jobs=-1)
gs_classifier = gs_clf.fit(X_train, y_train)

现在我可以根据 sklearn.naive_bayes.MultinomialNB documentation 从 gs_classifier 中获取 feature_log_prob_ .这是一个例子。

我的问题是如何得到每个对数概率对应的单词?CountVectorizer() 和 TfidfTransformer() 都进行了特征选择。GridSearchCV 对象在哪里存储选定的词/ngram 特征?如何将它们匹配回概率?

我检查了 gs_classifier 的成员,但没有找到选定的特征。谢谢。

下面是一个可运行的例子:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.grid_search import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.naive_bayes import MultinomialNB
from inspect import getmembers

X_train = ['qwe rtyuiop', 'asd fghj kl', 'zx cv bnm', 'qw erty ui op', 'as df ghj kl', 'zxc vb nm', 'qwe rt yu iop', 'asdfg hj kl', 'zx cvb nm',
'qwe rt yui op', 'asd fghj kl', 'zx cvb nm', 'qwer tyui op', 'asd fg hjk l', 'zx cv b nm', 'qw ert yu iop', 'as df gh jkl', 'zx cvb nm',
'qwe rty uiop', 'asd fghj kl', 'zx cvbnm', 'qw erty ui op', 'as df ghj kl', 'zxc vb nm', 'qwe rtyu iop', 'as dfg hj kl', 'zx cvb nm',
'qwe rt yui op', 'asd fg hj kl', 'zx cvb nm', 'qwer tyuiop', 'asd fghjk l', 'zx cv b nm', 'qw ert yu iop', 'as df gh jkl', 'zx cvb nm']

y_train = ['1', '2', '3', '1', '1', '3', '1', '2', '3',
'1', '2', '3', '1', '4', '1', '2', '2', '4',
'1', '2', '3', '1', '1', '3', '1', '2', '3',
'1', '2', '3', '1', '4', '1', '2', '2', '4']


parameters = {
'clf__alpha': (1e-1, 1e-2),
'vect__ngram_range': [(1,2),(1,3)],
'vect__max_df': (0.9, 0.98)
}

text_clf_Pipline_MultinomialNB = Pipeline([('vect', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', MultinomialNB()),
])
gs_clf = GridSearchCV(text_clf_Pipline_MultinomialNB, parameters, n_jobs=-1)

gs_classifier = gs_clf.fit(X_train, y_train)

nbclf = getmembers(gs_classifier.best_estimator_)[2][1]['named_steps']['clf']
nbclf.feature_log_prob_

那么问题是:我怎样才能得到训练模型中的单词特征列表对应的对数概率?另外,例如,_log_prob_ 输出中的哪个概率对应于类别“1”的单词“qwe”?


得到答案后编辑:Andreas 的回答有效:

gs_classifier.best_estimator_.named_steps['vect'].get_feature_names() 

与此类似,还有一种更好的方法是索引到GridSearchCV中得到训练好的分类器

nbclf = gs_classifier.best_estimator_.named_steps['clf']

最佳答案

为什么需要getmembers?获取feature_log_prob_对应的特征名称:

gs_classifier.best_estimator_.named_steps['vect'].get_feature_names()

关于python - 如何在 scikit-learn 的 MultinomialNB Pipeline 训练模型中提取单词特征?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34207366/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com