machine-learning - 如何减少n-gram特征？

Question

我一直在处理文本处理中的问题。如果有人能帮助我，我将不胜感激。我有包含 12,000 条评论记录的数据集。当我对此运行 n-gram 提取器时，我获得了 170,000 个独特的 unigram + bigram，数量如此之多，以至于机器学习算法处理起来需要很长时间。

我应该如何减少这些提取的特征的数量？有什么特殊的算法什么的吗？

Answer 1

无需保留所有 N 元组。您应该按频率修剪 N 元语法列表。例如，仅考虑出现 40 次或以上的一元组。修剪二元组的截止值会更低。对于三元组等等，它还会更低。