python - POS 标记的性能缓慢。我可以做一些预热吗？

Question

我正在使用 NLTK 对网络请求中的数百条推文进行 POS 标记。如您所知，Django 为每个请求实例化一个请求处理程序。

我注意到这一点:对于一个请求(约 200 条推文)，第一条推文需要约 18 秒来标记，而所有后续推文需要约 120 毫秒来标记。我可以做些什么来加快这个过程？

我可以执行“预热请求”以便为每个请求加载模块数据吗？

class MyRequestHandler(BaseHandler):
    def read(self, request): #this runs for a GET request
        #...in a loop:
            tokens = nltk.word_tokenize( tweet)
            tagged = nltk.pos_tag( tokens)

Answer 1

前 18 秒是将词性标注器从磁盘中提取到 RAM 中。如果您想解决这个问题，请在请求函数之外自行加载标记器。

import nltk.data, nltk.tag
tagger = nltk.data.load(nltk.tag._POS_TAGGER)

然后将nltk.pos_tag替换为tagger.tag。代价是应用程序启动现在需要 +18 秒。