python - 哪些领域涉及提取具有相似特征的单词？

Question

我有一个数据集，其注释格式如下:<Word/Phrase, Ontology Class> ，其中本体类可以是以下之一 {Physical Object, Action, Quantity} 。我从大量文本语料库中为我的特定本体模型手动创建了这个数据集。

因为这个过程是手动的，所以我确信我可能遗漏了语料库中的一些单词/短语。如果是这种情况，我正在寻找从同一语料库中自动提取其他单词的方法，这些单词与标记数据集中的这些单词具有“特征”。因此，第一个任务是在我开始提取其他单词的任务之前定义“特征”。

我可以使用任何标准技术来实现这一目标吗？

编辑:抱歉。我应该提到这些是 WordNet 中找不到的特定领域的单词。

Answer 1

看看chapter 6 NLTK 书中的内容。根据您的描述，听起来基于特征(“特征”)提取的监督分类技术可能是一个不错的选择。摘自书中:

A classifier is called supervised if it is built based on training corpora containing the correct label for each input.

您可以使用一些手动编码的数据来训练分类器。它可能看起来像这样:

def word_features(name):
    features = {}
    features["firstletter"] = name[0].lower()
    features["lastletter"] = name[-1].lower()
    for letter in 'abcdefghijklmnopqrstuvwxyz':
        features["count(%s)" % letter] = name.lower().count(letter)
        features["has(%s)" % letter] = (letter in name.lower())
    return features

接下来，您可以根据您已标记的一些数据来训练分类器:

>> words = [('Rock', 'Physical Object'), ('Play', 'Action'), ... ]
>>> featuresets = [(word_features(n), g) for (n,g) in words]
>>> train_set, test_set = featuresets[500:], featuresets[:500]
>>> classifier = nltk.NaiveBayesClassifier.train(train_set)

您可能应该使用已标记的一半数据进行训练。这样你就可以用另一半来测试分类器的准确性。继续研究这些特征，直到分类器的准确性达到您的期望。

nltk.classify.accuracy(classifier, test_set)

您可以按如下方式查看各个分类:

classifier.classify(word_features('Gold'))

如果您不熟悉NLTK，那么您也可以阅读前面的章节。