nlp - 判别性重排序在 NLP 任务中有何作用？

Question

最近，我读到了柯林斯的“自然语言处理的歧视性重新排名”。我很困惑重新排名实际上有什么作用？向重新排序模型添加更多全局特征？或者其他什么？

Answer 1

如果你的意思是this paper ，那么所做的事情如下:

1. 使用生成模型训练解析器，即计算P(术语|树)并使用贝叶斯规则反转该模型并得到P(树|树)的解析器。项)，
2. 应用它来从模型中获得初始k树的最佳排名，
3. 根据所需树木的特征训练第二个模型，
4. 应用它来重新排名 2 的输出。

第二个模型有用的原因是，在生成模型(例如朴素贝叶斯、HMM、PCFG)中，很难添加除单词标识之外的特征，因为该模型会尝试预测精确特征向量而不是单独的特征，这可能不会出现在训练数据中，并且P(向量|树) = 0，因此P(tree|vector) = 0(+平滑，但问题仍然存在)。这是数据稀疏性的永恒 NLP 问题:您无法构建一个包含您想要处理的每一个话语的训练语料库。

MaxEnt 等判别模型在处理特征向量方面要好得多，但需要更长的时间来拟合并且处理起来可能更复杂(尽管 CRF 和神经网络已被用来构建解析器作为判别模型)。 Collins 等人尝试在完全生成性方法和完全判别性方法之间找到中间立场。