nlp - 词干提取有什么用？

Question

简单的问题:我们什么时候对单词进行词干或词形还原？词干提取是否对所有 nlp 过程都有帮助，或者是否有使用完整形式的单词可能会导致更好的准确性或精确度的应用程序？

Answer 1

在基于机器学习的 NLP 的背景下，词干提取使您的训练数据更加密集。它将字典的大小(语料库中使用的单词数量)减少了两到三倍(对于法语等具有许多变体的语言，单个词干可以生成数十个单词，例如动词)。

拥有相同的语料库，但输入维度更少，机器学习会更好地工作。召回确实应该更好。

缺点是，如果在某些情况下实际单词(与其词干相反)有所不同，那么您的系统将无法利用它。所以你可能会失去一些精度。