python - 如何从依存分析树计算置信度得分？

Question

是否有任何方法可以使用 ntlk 或其他方法从句子的依存分析树中获取置信度得分或任何得分？

如有任何意见和建议，我们将不胜感激!

Answer 1

这是一项艰巨的任务，我不知道有任何工具可以做到这一点，但如果您可能在语料库邮件列表或 Reddit 的语言技术部分上发布一些内容，您会得到更好的回复。但如果这是一个研究问题，我建议在 penntreebank 数据集上训练 PCFG，然后用它来计算分配给句子的解析树的概率。您可以抢Mark Johnson's执行。搜索这一行:

cky.tbz contains a very fast C implementation of a CKY PCFG parser, together with programs for extracting PCFGs from treebanks, etc. This was used in my 1999 CL article. (last updated 6th March, 2006)

CYK(维特比)是一种动态规划算法。 PCFG 代表概率 CFG，通常使用 penntreebank 数据集进行训练。一个句子的所有可能解析树的概率之和可以解释为该句子在语法上的正确程度。抱歉，如果这不是实际答案，但这是一个可行的答案，如果您决定这样做，我可以告诉您更多详细信息:)。