nlp - Hunspell 词缀条件正则表达式格式。有什么方法可以匹配开始吗？

Question

美好的一天。

我正在尝试在我的应用程序中使用 Hunspell 作为词干分析器。我不太喜欢 porter 和 snowball 词干提取，因为它们的“切碎”词结果如“abus”、“exampl”。 Lemmatizing 似乎是一个不错的选择，但我不知道有什么好的 CoreNLP 替代方法，而且我当然还没有准备好将我的项目的源代码移植到 Java 或使用桥接。理想情况下，我希望看到给定单词的初始形式，类似于字典中的形式。

我注意到大多数词典在 .dic 文件中都有单独的词:出价和出价、设置和设置、获取和获取等。我在 Hunspell 方面经验不足，但没有处理 3 个字母单词的双 d 或 t 的巧妙方法？有没有办法让它认为“setting”实际上是从“set”派生出来的？

我目前使用 Hunspell 的特殊问题是我无法获得用于创建/编辑词缀文件的综合文档。这就是文档在这里所说的:http://manpages.ubuntu.com/manpages/dapper/man4/hunspell.4.html

(4) condition.

Zero stripping or affix are indicated by zero. Zero condition is
indicated   by   dot. Condition is a simplified, regular
expression-like pattern, which must be met before the affix  can
be  applied. (Dot  signs  an arbitrary character. Characters in
braces sign an arbitrary character from  the  character  subset.
Dash  hasn’t  got  special  meaning, but circumflex (^) next the
first brace sets the complementer character set.)

默认的是这样的:

SFX G Y 2
SFX G   e     ing        e
SFX G   0     ing        [^e] 

我试过这个:

SFX G Y 4
SFX G   e     ing        e
SFX G   0     ing        [^e] 
SFX G   0     ting       [bcdfghjklmnpqrstvwxz][aeiou]t 
SFX G   0     ding       [bcdfghjklmnpqrstvwxz][aeiou]d 

但它显然也将匹配 asSET。有什么办法可以绕过它吗？我在正则表达式的开头尝试了 ^ 符号，但它似乎不起作用。我该怎么做才能让它发挥作用？

提前致谢。

Answer 1

为什么它会匹配 Assets ？这不是动词，因此不应附加该后缀。

语言不是完全规则的问题。我们在 SoftAstur 的 Asturian 拼写检查器中使用的解决方案是跟踪以某种方式形成某些后缀的动词列表，并让脚本根据我们保存的 list 。

因此对于英语，您需要定义两个单独的词缀¹:

SFX Gs Y 3
SFX Gs e ing [^eoy]e
SFX Gs 0 ing [eoy]e
SFX Gs 0 ing [^e]

SFX Gd Y 9
SFX 0 bing [^aeiou][aeiou]b
SFX 0 king [^aeiou][aeiou]c
SFX 0 ding [^aeiou][aeiou]d
SFX 0 ling [^aeiou][aeiou]l   # for British English
SFX 0 ming [^aeiou][aeiou]m
SFX 0 ning [^aeiou][aeiou]n
SFX 0 ping [^aeiou][aeiou]p
SFX 0 ring [^aeiou][aeiou]r
SFX 0 ting [^aeiou][aeiou]t

还有一些不规则的词，例如 singeing(与 singing 形成对比)非常不常见，最好单独编码。因此，您的字典文件或多或少需要以下内容:

admit/Gd    --> admitting
bake/Gs     --> baking
commit/Gd   --> committed
free/Gs     --> freeing
dye/Gs      --> dyeing
inherit/Gs  --> inherited
picnic/Gd   --> picnicking
target/Gs   --> targetting
tiptoe/Gs   --> tiptoeing
travel/Gs   --> traveling  (if American English)
travel/Gd   --> travelling (if British English)
refer/Gd    --> referring
sing/Gs     --> singing
singe
singing
sob/Gd      --> sobbing
smile/Gs    --> smiling
stop/Gd     --> stopping
tap/Gd      --> tapping
visit/Gs    --> visiting

---

^{1。我更喜欢两个字母的标签，因为如果你有一个带有很多标签的单词，它们会更容易阅读，比如 Gd = gerund doubled 和 Gs = 单动名词 或类似的。对英语来说可能不是问题，但对其他语言来说肯定是问题。如果你没有很多词缀，你可以使用 g(不加倍)和 G(加倍)。}