python - 如何在 Python 中使用 SVM 进行词性标注？

Question

我想在 Python 中使用 SVM 和非英语语料库进行词性标注。看起来 Python 还不支持使用 SVM 进行标记 (http://www.nltk.org/_modules)。

scikit-learn 有一个 SVM 模块。所以我安装了 scikit-learn 并在 Python 中使用它，但我找不到任何关于使用 SVM 进行 POS 标记的教程。

我真的不知道该怎么做，我们将不胜感激。

Answer 1

它必须是 SVM 吗？ NTLK 有内置工具来做 POS 标记:Categorizing and Tagging Words

如果您想使用自定义分类器，请查看此处:http://www.nltk.org/api/nltk.classify.html , Ctrl+F "svm", NTLK 为 scikit-learn 算法提供了一个包装器，称为 SklearnClassifier。那就看这里http://www.nltk.org/api/nltk.tag.html , Ctrl+F “分类器”，有一个 nltk.tag.sequential.ClassifierBasedPOSTagger 类显然可以使用 sklearn 中的包装分类器。

我还没有尝试过，但它可能会起作用。

编辑:它应该像这样工作:

from nltk.classify import SklearnClassifier
from sklearn.svm import SVC
clf = SklearnClassifier(SVC(),sparse=False)
cpos = nltk.tag.sequential.ClassifierBasedPOSTagger(train=train_sents,classifier_builder
= lambda train_feats: clf.train(train_feats))

唯一的问题是 sklearn 分类器只采用数字特征，因此您需要以某种方式转换您的特征。