algorithm - 良好的情感分析算法

Question

我尝试了朴素贝叶斯分类器，但效果很差。 SVM 工作得好一点但仍然很糟糕。我阅读的大多数关于 SVM 和朴素贝叶斯的论文都有一些变化(n-gram、POS 等)，但所有这些论文的结果都接近 50%(文章的作者谈论 80% 或更高，但我无法获得相同的准确度真实数据)。

除了词法分析，还有更强大的方法吗？ SVM 和贝叶斯假设单词是独立的。这些方法称为“词袋”。如果我们假设单词是关联的怎么办？

例如:使用先验算法检测如果句子包含“bad and horrible”，那么该句子有 70% 的概率是否定的。我们还可以使用单词之间的距离等。

这是个好主意还是我在发明自行车？

Answer 1

您在这里混淆了几个概念。朴素贝叶斯和 SVM 都与词袋方法无关。 SVM 和 BOW 方法都没有项之间的独立性假设。

您可以尝试以下操作:

• 在你的词袋中加入标点符号；特别是!和 ？有助于情感分析，而许多面向文档分类的特征提取器将它们丢弃
• 停用词也一样:像“我”和“我的”这样的词可能表示主观文本
• 构建一个两阶段分类器；先判断是否表达了任何意见，再判断是正面的还是负面的
• 尝试使用二次核 SVM 而不是线性 SVM 来捕获特征之间的相互作用。