python - 在 nltk 搭配中组合过滤器

Question

我希望能够使用 nltk collocations 将多个过滤器的组合应用于二元组。 。问题如下:

我需要保留多次出现或出现在单词列表中的二元组。请注意，我想保留单词列表中的二元词 - 如果我想删除它们，我可以简单地应用一个过滤器一个接一个地过滤器。

我知道有一个频率过滤器，而且我还可以使用以下命令单独检查列表中的单词:

lambda *w: w not in [w1,w2,w3]

但我不知道如何检查这个函数中二元组的频率。

我们如何获得传递给 lambda 的二元组的频率？

Answer 1

好的，您想要过滤查询频率和单词列表。因此，创建一个函数来构造一个过滤器，该过滤器查阅评分字典和定义的单词列表，如下所示:

def create_filter_minfreq_inwords(scored, words, minfreq):
    def bigram_filter(w1, w2):
        return (w1 not in words and w2 not in words) and (
                (w1, w2) in scored and scored[w1, w2] <= minfreq)
    return bigram_filter

然后，您需要首先使用 finder.score_ngrams 创建一个包含频率的字典。与 BigramAssocMeasures.raw_freq ，并使用上述函数创建二元过滤器。这是一个逐步的示例:

import nltk

# create some text and tokenize it
text = "This is a text. Written for test purposes, this is a text."
tokens = nltk.wordpunct_tokenize(text)

# initialize finder object with the tokens
finder = nltk.collocations.BigramCollocationFinder.from_words(tokens)

# build a dictionary with bigrams and their frequencies
bigram_measures = nltk.collocations.BigramAssocMeasures()
scored = dict(finder.score_ngrams(bigram_measures.raw_freq))

# build a word list
words = ['test', 'This']

# create the filter...
myfilter = create_filter_minfreq_inwords(scored, words, 0.1)

print 'Before filter:\n', list(finder.score_ngrams(bigram_measures.raw_freq))

# apply filter
finder.apply_ngram_filter(myfilter)

print '\nAfter filter:\n', list(finder.score_ngrams(bigram_measures.raw_freq))