python - 有没有既可以在单词级别也可以在句子级别工作的分类器？

Question

在 scikit learn 或 nltk 分类器中，通常考虑术语频率或 TF-IDF。

我还想考虑术语频率、句子结构进行分类。我有 15 类问题。每个文本文件都包含带有换行符的句子。

类别城市包含这句话:

In which city Obama was born?

如果我考虑术语频率，那么可能不会考虑以下内容。因为数据集中的奥巴马或城市与查询语句不匹配

1. In which place Hally was born 2. In which city Hally was born?

有没有既考虑术语频率又考虑句子结构的分类器。因此，在训练时，它也会对具有相似句子结构的输入查询进行分类

Answer 1

除了 unigram 之外，您还可以在 ngram 上训练 tf-idf。在 Scikit Learn 中，您可以指定要考虑的 ngram_range:如果您将其设置为最多 3-gram 进行训练，您最终将存储单词组合的频率，例如“In哪个地方”，这很能说明所提出问题的类型。