python - 如何获得朴素贝叶斯中的特征重要性？

Question

我有一个评论数据集，其类别标签为正面/负面。我正在将朴素贝叶斯应用于该评论数据集。首先，我正在转换成词袋。这里 sorted_data['Text'] 是评论，final_counts 是稀疏矩阵

count_vect = CountVectorizer() 
final_counts = count_vect.fit_transform(sorted_data['Text'].values)

我将数据分为训练数据集和测试数据集。

X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)

我正在应用朴素贝叶斯算法，如下

optimal_alpha = 1
NB_optimal = BernoulliNB(alpha=optimal_aplha)

# fitting the model
NB_optimal.fit(X_tr, y_tr)

# predict the response
pred = NB_optimal.predict(X_test)

# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the NB classifier for k = %d is %f%%' % (optimal_aplha, acc))

这里 X_test 是测试数据集，其中 pred 变量告诉我们 X_test 中的向量是正类还是负类。

X_test 形状为(54626 行，82343 维)

pred 的长度为 54626

我的问题是我想获取每个向量中概率最高的单词，以便我可以通过单词了解为什么它预测为正类或负类。那么，如何得到每个向量中概率最大的单词呢？

Answer 1

您可以使用 coefs_ 或 feature_log_prob_ 属性从拟合模型中获取每个单词的重要性。例如

neg_class_prob_sorted = NB_optimal.feature_log_prob_[0, :].argsort()[::-1]
pos_class_prob_sorted = NB_optimal.feature_log_prob_[1, :].argsort()[::-1]

print(np.take(count_vect.get_feature_names(), neg_class_prob_sorted[:10]))
print(np.take(count_vect.get_feature_names(), pos_class_prob_sorted[:10]))

打印每个类(class)最有预测性的 10 个单词。