nlp - 文本分类 - 使用词干分析器会降低结果？

Question

有 this关于阿拉伯语情感分析的文章。

在第 5 页的开头，它说:

"Experiments also show that stemming words before feature extraction and classification nearly always degrades the results".

稍后在同一页中，他们声明:

"...and an Arabic light stemmer is used for stemming the words"

嗯，我认为在文本分类之前总是使用词干分析器/词形还原器，他为什么说它会降低结果？

谢谢:)

Answer 1

我不懂阿拉伯语，可能在很多方面都比较特殊，我的回答是英文。

Um I thought that a stemmer/lemmatizer was always used before text classifications, why does he say that it degrades the results?

不，不是，完全取决于任务。如果你想提取文本的一些一般概念，那么词干化/词形化是一个很好的步骤。但在分析短 block 时，每个词都很有值(value)，词干提取只会破坏其意义。特别是 - 在情感分析中，词干提取可能会破坏单词的情感。