parsing - 如何解析对于正式语法而言过于可变但对于 NLP 而言又过于受限的文本？

Question

我正在处理非正式编写的文本语料库，但通常按照惯例符合非常标准的格式(想想像Froyo Frozen Yogurt，Smucker's Peanut Butter) em>)，偶尔需要递归(Froyo Frozen Yogurt with Smucker's Peanut Butter)。

使用正则表达式，复杂性很快就会失控(Froyo 的冷冻酸奶、Smucker's 的 Froyo 花生酱冷冻酸奶等)。

我很难找到资源来帮助我为此编写 EBNF，而且 NLP 方法太复杂(加上我的“词性”并不真正对应于普通英语)。是否有针对半形式化文本的中间方法？

Answer 1

您可以在您最喜欢的编程语言中构建一个廉价且简单的 EBNF，例如:(伪代码，让我们想象这些变量代表正则表达式)

var digit_excluding_zero = "1|2|3|4|5|6|7|8|9";
var digit = "0|" + digit excluding zero;

(这是 EBNF Wikipedia page 中的第一个示例)