machine-learning - 创建自学习情感词典

Question

我计划使用情感标签建立一个自学词典情感词。

我能够使用 POS 标签识别情感词，但无法将这些词标记为积极、消极或中性。

例如:“The food was not good”是一个句子，我使用 POS 标签从该句子中提取了“not good”作为情感词。现在我想将其标记为否定并将其添加到我的新词典中以供将来使用。

我做这个项目/任务的偏好是不使用任何预定义的字典/词库/任何预定义的情感分析包。

我正在征求您的意见，以了解如何在不使用任何预定义词典或使用预定义词典的情况下对其进行标记。

目前，我已经探索了 Word embedding，为此跳过了 n-gram 模型。我还使用预定义的字典，通过一些监督学习模型(如 Xgboost、KNN、朴素贝叶斯分类器)来训练模型。我使用了一些无监督模型(例如 k-mean)来通过单词来预测标签。仍然无法得到结果。

如果您知道任何其他方法或一些输入可以应用于上述任何模型来将单词标记为积极、消极或中性，那么请提出建议。

Answer 1

好吧，让我帮您提供基本建议，因为我在大学也做过类似的事情。首先，您必须至少有几个单词(或短语)。你拥有的单词越多，你得到的结果就越不同。为了帮助构建该功能，您的单词必须从大写字母和阅读引用中清除，然后通过分隔符对其进行标记，并使用单词类型(NN、PRO 等)进行标记。

在标记单词或短语时，如果单词或短语有正面、负面或其他含义，则必须自行定义。 Python NLTK 是基于单词种类标记英语单词的最佳库，但您必须定义情感。因此，您可以将数据源的特征存储在类似这样的数组中:

    {"anarchy","VB","+"} 
where the format is
 {<word>,
<type_of_word>,
<sentiment_class>}

如果您还有其他单词，只需对您的训练数据集执行分类方法并将结果存储到您的数据集中。但如果分类词的准确率很高，这种技术就会失败。

但我的注意是，要小心具有多种情绪的单词(看起来像是积极的，但实际上根据其句子上下文具有消极情绪，或相反)。所以最好的建议是，让你的模型标记句子中单词的情感，而不是当单词单独存在时，而是根据它在句子中的位置来标记。这是“The anarchy peoples”这样的短语的特征示例(请注意，清理后，所有单词都转换为小型大写字母)

     {"anarchy","VB","the","PP","peoples","NNP","0,001","+"}

 where the format is 

{<word>,
<type_of_word>,
<word_before your word>,
<type_of_word_before>,
<word_after>,
<kind_of_word_after>,
<probability_of_word_presence>,
<sentiment_class>}

我建议你读一些related researches在执行此操作之前先了解一下情感分析。

希望对你有帮助