python - 使用 python NLTK : How can I improve the accuracy of the POS tagger?

Question

我一直在使用 NLTK 的词性标注器:

...
nltk.pos_tag(nltk.word_tokenize(tfile[i]))
...

但有时我会得到不准确的结果(当我应该得到 JJ 时会出现 NN，等等。我要标记的文本在一个相当特定的业务领域内......我不能随意说出这里是什么领域).诚然，我不是 Python 或 NLTK 的专家(不过，我正在研究它)，但我想知道是否有某种方法可以提高标注器的准确性。

我想我明白标注器的工作原理是将提供给它的文本与预标记文本的语料库进行比较。我的自然倾向是尝试将一组我自己的自标记句子添加到这个语料库中……但我不知道该怎么做。

我非常感谢任何关于如何将我自己的文本添加到语料库的建议(我更愿意添加到现有文本而不是完全开始一个新文本)，或者如果有人有其他改进建议标记器对我的目的的准确性，我很想听听。

谢谢!

Answer 1

您可能已经看到了 GoogleCode book on nltk .我自己一直在非常缓慢地完成它，虽然我还没有解决词性标记问题，但当我觉得足够熟练使用该工具时，这是我最终想做的事情之一。无论如何，在Chapter 5 ，第 2 节你会得到以下关于制作你自己的标记标记集的文本和示例(向所有人道歉，但我直接从文本中复制):

>>> tagged_token = nltk.tag.str2tuple('fly/NN')
>>> tagged_token
('fly', 'NN')
>>> tagged_token[0]
'fly'
>>> tagged_token[1]
'NN'

接5.2:

We can construct a list of tagged tokens directly from a string. The first step is to tokenize the string to access the individual word/tag strings, and then to convert each of these into a tuple (using str2tuple()).

>>> sent = '''
... The/AT grand/JJ jury/NN commented/VBD on/IN a/AT number/NN of/IN
... other/AP topics/NNS ,/, AMONG/IN them/PPO the/AT Atlanta/NP and/CC
... Fulton/NP-tl County/NN-tl purchasing/VBG departments/NNS which/WDT it/PPS
... said/VBD ``/`` ARE/BER well/QL operated/VBN and/CC follow/VB generally/RB
... accepted/VBN practices/NNS which/WDT inure/VB to/IN the/AT best/JJT
... interest/NN of/IN both/ABX governments/NNS ''/'' ./.
... '''
>>> [nltk.tag.str2tuple(t) for t in sent.split()]
[('The', 'AT'), ('grand', 'JJ'), ('jury', 'NN'), ('commented', 'VBD'), ('on', 'IN'), ('a', 'AT'), ('number', 'NN'), ... ('.', '.')]

上面的“发送”变量实际上是原始标记文本的样子，通过转到我自己计算机上的 nltk_data 目录并查看 corpora/brown/中的任何内容来确认，因此您可以编写自己的标记文本使用这种格式，然后用它构建你自己的一组标记 token 。

一旦您设置了自己的标记标记，您就应该能够根据您的标记标记设置您自己的 unigram 标记器(从 5.5 开始):

>>>unigram_tagger = nltk.UnigramTagger(YOUR_OWN_TAGGED_TOKENS)

最后，因为你的标记文本可能是一个非常小的样本(因此不准确)，你可以列出一个回退标记器，这样当它失败时，回退就会来救援:

>>> t0 = nltk.UnigramTagger(a_bigger_set_of_tagged_tokens)
>>> t1 = nltk.UnigramTagger(your_own_tagged_tokens, backoff=t0)

最后，您应该研究 n-gram 差异、bigram、unigram 等，这些在上述第 5 章中也有介绍。

无论如何，如果您继续阅读第 5 章，您将看到几种不同的标记文本的方法(包括我最喜欢的:正则表达式标记器!)。有很多方法可以做到这一点，而且过于复杂，无法在像这样的小帖子中充分介绍。

注意买者:我还没有尝试所有 这段代码，所以我将它作为目前我自己正在努力解决的解决方案提供。如果我有错误，请帮我改正。