python - 确定句子中缺失词所属的位置

Question

我有以下代码:

import nltk
exampleArray = ['The dog barking']

def processLanguage():
    for item in exampleArray:
        tokenized = nltk.word_tokenize(item)
        tagged = nltk.pos_tag(tokenized)
        print(tagged)

processLanguage()

上述代码的输出是标记化的单词及其相应的词性。示例:

[('The', 'DT'), ('dog', 'NN'), ('barking', 'NN'), ('.', '.')]

DT = determiner
NN = noun

文本应该是

The dog is barking

并且应该有 POS 序列

DT -> NN -> VBZ -> VBG

VBZ = verb, present tense, 3rd person singular
VBG = verb, present participle or gerund

我如何让程序在句子中找到缺失单词的位置？

Answer 1

这是直接的语法检查。您至少需要一个标注器、一个注释词性标注 (POS) 的工具和一个解析器，最好是 Early parser (https://en.wikipedia.org/wiki/Earley_parser) 之类的东西，它能够在给定短语结构语法的情况下分析树结构(PSG) 你的目标语言。无论您选择哪种特定算法，请始终牢记自然语言在 chosmky 层次结构中至少是弱上下文敏感的，因此请忘记有限状态自动机等。如果解析器没有验证您的句子是否符合语法(在语言方面它未获得您的 PSG 许可)，您可以使用树结构来定位某些终端符号未使用或错误使用的位置。您必须做的另一件事是词法和格标记，它允许检查动词和论元等的一致错误，以排除诸如“狗在吠叫”之类的句子。也许还可以看看 LFG 或 HPSG 实现，它们以更彻底的方式实现了这一点，因为它们在计算上更强大(上下文相关工具，换句话说是线性有界图灵机)。