python - 使用 MultinomialNB 组合特征集

Question

这是一个关于功能集的非常基本的问题。

假设我有一群具有各种特征的人，我想向他们提出建议。他们还写了一段自由格式的文本，这对于我需要向他们推荐的内容非常重要。

我可以理解如何矢量化他们的示例文本，但我不知道如何添加国籍、年龄、性别等特征。

所以我有这个:

#dbsession = sqlalchemy session

people = dbsession.query(People).filter(People.category!="inactive")
all_text = [(a.all_text, a.category) for a in people ]
vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.5, stop_words='english')
X_train = vectorizer.fit_transform([x[0] for x in all_text])
y_train = ([x[1] for x in all_text])
classifier = MultinomialNB()
classifier.fit(X_train,y_train)

print("Training score: {0:.1f}%".format(classifier.score(X_train, y_train) * 100))
a  = People.populate_from_db(dbsession,2309601) # this gives me the person I want to categorise
print a

sample_text = a.all_text
t_form = vectorizer.transform([sample_text])
probs = classifier.predict_proba(t_form)
for i,p in enumerate(probs[0]):
    print "# ", classifier.classes_[i] , "%.2f %%" % (p*100)

(是的，我知道我不应该使用训练集中的某个项目来进行测试，但我只是先运行代码，然后再将真实数据放入其中。)

现在，如果人员对象具有诸如“国籍”之类的属性，那么将其添加到分类器的最佳方法是什么？

Answer 1

1) 向向量添加附加字段的问题。

A) 只需为您要添加的每个内容创建一个新的 X_train_extended，其维数与 X_train + 1 相同。复制这些值并在额外的空间中插入您想要的内容

B) 尝试使用FeatureUnion scikit 可以为您做到这一点。

2)您的添加有意义吗？在这种情况下 - 不。存储“年龄”的数值对于 MulinomialNB 模型没有意义。无论如何，它可能会起作用，但您应该意识到您正在做的事情现在违反了您尝试使用的模型的假设。

没有人可以告诉您应该使用什么模型，因为我们没有您的数据，但您应该了解您的模型是什么以及它做出什么假设。然后您可以决定将这些附加功能的最佳形式放入您的模型中。