nlp - 将字符串数据转换为 PTB 格式以训练斯坦福情感分析工具

Question

如何将字符串数据(例如推文)转换为 PTB 格式以训练斯坦福情感分析工具？

Answer 1

这不是简单地从一种格式转换为另一种格式的问题。正如 @lenz 提到的，PTB 是解析器的输出格式——这意味着至少您需要将文本转换为语法解析。自动解析器(例如 Berkeley/Stanford/BLLIP 解析器)可以为您提供一些帮助，但是(1)自动解析器在 Twitter 文本上可能很糟糕，(2)如果我记得您需要二值化解析树，这意味着对原始解析进行一些操作。

此外，要训练情感模型，您需要用情感来注释数据。也就是说，对于解析树的每个成分，您需要说明该成分的产量的情感标签是什么。如果有一个自动工具可以执行此操作，您就不需要训练新模型。