java - Java 正则表达式中否定先行断言的奇怪之处

Question

我正在努力理解 Java 中正则表达式的行为，并且遇到了一些看起来很奇怪的事情。在下面的代码中，由于我在测试中不理解的原因，测试突然失败，消息标签为“6 个字母匹配，否定”(随后的两个测试也失败了)。我是不是盯着这个看得太久了，还是真的发生了什么奇怪的事情？我不认为这与可变长度负先行断言 (?!X) 有关，但我很乐意听到任何理论，甚至是确认其他人正在经历同样的问题并且它不是特定于我的虚拟机。抱歉，正则表达式如此做作，但你不想看到真实的东西:)

// $ java -version
// java version "1.7.0_10"
// Java(TM) SE Runtime Environment (build 1.7.0_10-b18)
// Java HotSpot(TM) 64-Bit Server VM (build 23.6-b04, mixed mode)

// test of word without agreement
String test = "plusieurs personne sont";

// match the pattern with curly braces
assertTrue("no letters matched", Pattern.compile("plusieurs personne\\b").matcher(test).find());
assertTrue("1 letters matched", Pattern.compile("plusieurs personn\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("2 letters matched", Pattern.compile("plusieurs person\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("3 letters matched", Pattern.compile("plusieurs perso\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("4 letters matched", Pattern.compile("plusieurs pers\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("5 letters matched", Pattern.compile("plusieurs per\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("6 letters matched", Pattern.compile("plusieurs pe\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("7 letters matched", Pattern.compile("plusieurs p\\p{Alpha}{1,100}\\b").matcher(test).find());
assertTrue("8 letters matched", Pattern.compile("plusieurs \\p{Alpha}{1,100}\\b").matcher(test).find());

// match the negative pattern (without s or x) with curly braces
assertTrue("no letters matched, negative", Pattern.compile("plusieurs (?!personne[sx])\\w+").matcher(test).find());
assertTrue("1 letters matched, negative", Pattern.compile("plusieurs (?!personn\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("2 letters matched, negative", Pattern.compile("plusieurs (?!person\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("3 letters matched, negative", Pattern.compile("plusieurs (?!perso\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("4 letters matched, negative", Pattern.compile("plusieurs (?!pers\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("5 letters matched, negative", Pattern.compile("plusieurs (?!per\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
// the assertion below fails (is false) for reasons unknown
assertTrue("6 letters matched, negative", Pattern.compile("plusieurs (?!pe\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("7 letters matched, negative", Pattern.compile("plusieurs (?!p\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());
assertTrue("8 letters matched, negative", Pattern.compile("plusieurs (?!\\p{Alpha}{1,100}[sx])\\w+").matcher(test).find());

Answer 1

让我们看看前瞻是如何匹配的:

pe           literal, matches "pe"
r            matches \p{Alpha}{1,100}
s            matches [sx]

因此负先行不匹配(字符串的尾部 "onne sont" 在这里无关紧要)。

在 [sx] 之后放置 \\b 可能会有所帮助，如果您的想法是下一个单词不应以 s 或 x 结尾。始终牢记，负面前瞻不会对失败抱歉，也不会回溯以找到如何使您的正则表达式不匹配。

UPD:让我们仔细看看案例 5，将其与案例 6 进行比较。这里我们使用假设 匹配(对于先行内部的表达式)，因此我们必须考虑它如何可能的几种变体(几乎)发生。

per          literal, would match "per" -- it's always so
             -- let's try to imagine how the rest could match:
sonn         would match \p{Alpha}{1,100}
e            wouldn't match [sx], FAIL
             -- or maybe
s            would match \p{Alpha}{1,100}
o            wouldn't match [sx], FAIL
             -- or maybe yet
so           would match \p{Alpha}{1,100}
n            wouldn't match [sx], FAIL.

如果第二个词是“personalisation”，我们将进行另一场有趣的冒险。

UPD2:评论中的讨论促使我在这里添加一个概括:

正则表达式很有吸引力，因为它们具有人类思维的一个重要特征:confirmation bias .当我们编写正则表达式时，我们希望它们匹配；即使我们的工作是防止无效输入，我们大部分时间都会考虑有效输入。正则表达式匹配器通常共享此属性:它希望匹配并且讨厌失败。这就是为什么像 \p{Alpha}{1,100} 这样的子表达式并不意味着“在尝试匹配其余输入之前吃掉可用的最长 Alpha block ”。粗略地说，这意味着“考虑长度在 [1,100] 以内的每个 可能 Alpha block ，找到一种使整个表达式匹配的方法”。

这就是为什么使用正则表达式很容易忽略复杂表达式的误报:错误接受的无效输入。这个问题并没有出现，只是在我们使用否定前瞻时变得更加明显:

在否定前瞻中，正则表达式匹配器想要匹配内部表达式(使外部表达式失败)。人类程序员仍然想要匹配外部表达式；正如我们在示例中看到的那样，这个因素确实会影响我们对内部表达式的推理。我们认为它不应该如此努力地匹配(并且，例如，它应该以一种愚蠢的方式处理子表达式，立即吃掉尽可能长的输入)。匹配器像往常一样工作，但是我们关于理想行为的想法现在与它的算法不同步。内部表达的误报(很难注意到)变成了外部表达的误报(我们注意到并讨厌)。