java - Mallet 文档分类 - 减少词汇量

Question

我用 Mallet 训练了 maxent 文档分类模型，结果是 130MB，这对于我希望运行它的实例来说太大了。我想知道是否有一种方法可以潜在地减少模型的词汇量，从而减少整体模型的大小。有管道可以做到这一点吗？我当前使用的管道是

 Pipe instancePipe = new SerialPipes(new Pipe[]{
            new Target2Label(),                     //creates labels
            new Input2CharSequence("UTF-8"),        //read the file as string
            new CharSequence2TokenSequence(),       //tokenize the string
            new TokenSequenceLowercase(),           //lowercase the tokens
            new TokenSequenceRemoveStopwords(false),  //remove stopwords
            new TokenSequence2FeatureSequence(),    //convert tokens to features
            new FeatureSequence2FeatureVector(),    //create feature vector
            //new PrintInputAndTarget()  //print everything
    });

任何其他减小模型尺寸的技巧也会有所帮助

Answer 1

最简单的方法是在初次导入后尝试修剪词汇表。使用

bin/mallet prune --help

查看选项。