regex - Perl正则表达式中的加权析取？

Question

我对正则表达式非常有经验，但是在涉及析取的当前应用程序中遇到了一些困难。

我的情况是这样的：我需要根据地址的“标识符元素”上的正则表达式匹配将地址分为其组成部分-一个可比的英语示例是诸如“ state”，“ road”或“大道”-例如，如果我们在地址中写出这些信息。假设我们有一个类似以下的地址，其中（这永远不会发生在英语中），我们在每个名称之后指定了标识符类型

United States COUNTRY California STATE San Francisco CITY Mission STREET 345 NUMBER

（CAPS中的单词就是我所说的“标识符”）。

我们想将其解析为：

United States COUNTRY

California STATE

San Francisco CITY

Mission STREET

245 NUMBER



好的，这当然是针对英语的，但是要注意的是：我正在使用中文数据，实际上，这种标识符规范样式一直在发生。下面的例子：


云南-省 ; 丽江-市 ; 古城-区 ; 西安-街 ; 杨春-巷 ;
Yunnan-Province ; LiJiang-City ; GuCheng-District ; Xi'An-Street ; Yangchun-Alley


这很容易-潜在候选标识符名称上的惰性匹配，分为分离列表。

对于中国，以下是“省级”实体：


省 (Province) ,
自治区 (Autonomous Region) ,
市 (Municipality)


所以到目前为止我的正则表达式看起来像这样：


(.+?(?:(?:省)|(?:自治区)|(?:市)))


为了说明地址的不同部分，我有一系列说明。例如，对应于城市的下一层是：


(.+?(?:(?:地区)|(?:自治州)|(?:市)|(?:盟)))


因此，要匹配一个省实体，然后是一个城市实体：


(.+?(?:(?:省)|(?:自治区)|(?:市)))(.+?(?:(?:地区)|(?:自治州)|(?:市)|(?:盟)))


使用命名的捕获组：

(?<Province>.+?(?:(?:省)|(?:自治区)|(?:市)))(?<City>.+?(?:(?:地区)|(?:自治州)|(?:市)|(?:盟)))


对于上述情况，将产生：

$+{Province} = 云南省

$+{City} = 丽江市


这一切都很好，让我走的很远。但是，问题是当我尝试考虑可以是其他标识符的子字符串的标识符时。例如，一个常见的街道级实体是“村委会”，即村庄组织委员会。在我希望分开的地址集中，并非每个地址都写完整。实际上，我发现“村委”，也只是普通的“村”。

问题？如果我仅将这些元素分解，则可以得到以下内容：


(?<Street>.+?(?:(?:村委会)|(?:村委)|(?:村)))


但是，如果您有一个实体保定村委员会（保定村组织委员会），那么这种懒惰的正则表达式将在村停下来并称其为一天，从而使我们的贫民窟成为孤儿，因为村是潜在的分离因素之一。

想象一下一个英语等效项，如下所示：

(?<Animal>.+?(?:(?:Cat)|(?:Elephant)|(?:CatElephant)|(?:City)))


我们有两个输入字符串：
1.我们想要的是“废话的城市”和“废话的城市”
2.“废话猫城”，我们想要的“废话猫”“大象城”

嗯，您说的解决方案是使预标识符捕获贪婪。但！存在具有相同标识符但不在同一级别的实体。

以市为例。它仅表示“城市”。但是在中国，有县级，省级和市级城市。如果此字符在字符串中两次出现，特别是在两个相邻的实体中，则贪婪搜索将错误地将贪婪匹配标记为第一个实体。如下所示：


广东-省 ; 江门-市 ; 开平-市 ; 三埠-区 石海管-区

Guangdong-province ; Jiangmen-City ; Kaiping-City ; Sanbu-District ; Shihaiguan-District


（请注意，如上所述，这已被手工分割。原始数据将仅包含一串串联的字符）

贪婪搜索的匹配项为

江门市开平市


这是错误的，因为应该将两个相邻的实体分成其组成部分。曾经是省级城市，一个是县级城市。

回到最初的观点，我感谢您阅读了到目前为止的内容，是否有办法对析取实体进行加权？我希望正则表达式首先找到最高的“加权”标识符。村委会而不是简单的村，例如，“ catelephant”而不是“ cat”。在初步实验中，正则表达式解析器显然是从左向右进行的，以找到析取匹配项。这是一个有效的假设吗？我是否应该将最频繁出现的标识符放在分离列表中？

如果我丢失了任何与中文有关的详细信息，我表示歉意，并在需要时进一步澄清。该示例实际上不必一定是中文的-我认为更普遍的是，这是一个关于正则表达式析取匹配机制的问题-它以什么顺序偏析析取实体，以及它如何决定何时“称呼它”懒惰的搜索中搜索“一天”？

在某种程度上，懒惰搜索和贪婪搜索之间是否存在某种中间立场？在最长/最高加权的析取实体之前找到最小的位？懒惰，但是如果可以的话，要付出一点点额外的努力？
（顺便说一下，我在大学的工作理念是？）

Answer 1

alternations的处理方式取决于特定的正则表达式engine。对于几乎所有引擎（包括Perl的正则表达式引擎），替换都急切地匹配-也就是说，它首先匹配最左边的选项，并且只有在失败时才尝试其他选择。例如，如果您有/(cat|catelephant)/，它将永远不会与catelephant匹配。解决方案是重新排列选择，以便最具体的优先。