python - BigramTagger 工作是否需要最小数据大小？

Question

我正在学习 nltk 库中的 BigramTagger 类。我使用 nltk 附带的棕色语料库训练“部分句子”标注器。

我注意到，如果我在这个语料库上进行训练，然后从语料库的第一句话中标记几个词，效果会很好。

from nltk.corpus import brown
from nltk.tag import BigramTagger 
from nltk import word_tokenize

# Works completely fine:
brown_train = brown.tagged_sents(categories='news')
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

我们得到了预期的输出:

[('that', 'CS'), ('any', 'DTI'), ('irregularities', 'NNS'), ('took', 'VBD'), ('place', 'NN')]

但如果我只训练 100 个句子，它就会失败。

# Fails to work: 
brown_train = brown.tagged_sents(categories='news')[:100]
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

它无法标记这些词，所以它给了它们 None 标记:

[('that', None), ('any', None), ('irregularities', None), ('took', None), ('place', None)]

类(class)是否有最低语料库要求？或者是否有其他一些我忘记的参数导致模型在第二种情况下失败？

我看过这里的文档:http://www.nltk.org/api/nltk.tag.html#nltk.tag.sequential.BigramTagger看起来有一个截止参数，但默认设置为 0。

Answer 1

这是一个有趣的问题。它看起来就像你在用训练数据测试你的标注器，但有一个关键的区别:因为你使用的是第一个句子的_a片段*，所以它的第一个词出现在不同于如何的上下文中它被用于培训。对你的问题的简短回答是，它不是语料库的大小，只是在训练中是否看到了相关的上下文。 对于较短的训练数据，第一个单词从未出现在相同(句子开头)的位置；但是对于较长的数据集，它出现了。

现在了解详细信息:ngram 标注器根据当前单词和 n-1 之前的词性标记(“上下文”)选择词性标记。在句子的开头，一个词的“上下文”是空的；要标记测试短语的第一个单词，标记器需要在训练数据的句子开头看到它。测试短语中的第一个单词是 “that”，没有大写。它真的会出现在训练数据中吗？是的，它可以:

>>> for n, s in enumerate(brown.sents(categories="news")):
        if s[0] == 'that':
            print(n, " ".join(s))

3322 that its persistent use by ballet companies of the Soviet regime indicates that that old spirit is just as stultifying alive today as it ever was ; ;
3323 that its presentation in this country is part of a capitalist plot to boobify the American people ; ;
3324 that its choreography is undistinguished and its score a shapeless assemblage of self-plagiarisms .

就布朗语料库而言，这些是完整的句子。可能有一个原因，但这真的没关系，现在就做。只要您的训练数据至少包含其中一项，您就可以在标注器的内表中查找上下文:

>>> bigram_tager._context_to_tag[(tuple(), "that")]
'CS'

在你用前 100 个句子训练的标注器上(或者在用前 3000 个句子训练的标注器上，因为在正确的位置仍然没有小写的“那个”)，尝试同样的事情，你会得到一个 键错误。没有看到上下文，标记器返回 None 作为第一个单词的标记。一旦失败，标记第二个单词将失败(再次错误的上下文)等。

实用建议:始终使用退避标记器(它将使用单词的所有实例来选择标记)，使用适当的大写标记完整的句子，或两者兼而有之。