java - 简化导致 Java StackOverflowException 的正则表达式

Question

我正在尝试从 C 文件中提取以下项目:

• 评论(单行和多行)
• 字符串文字
• 十进制、八进制和十六进制文字。

我编写了以下正则表达式来尝试查找这些项目:

/\*(?:.|[\r\n])*?\*/|"(?:[^"\\\r\n]|\\.)*"|//.*|\b\d+\b|\b0[xX][\da-fA-F]+\b

该表达式由五个部分组成，并通过 OR 组合在一起。

• /\*(?:.|[\r\n])*?\*/ 检查多行注释。
• "(?:[^"\\\r\n]|\\.)*" 检查字符串文字。
• //.* 检查单行注释。
• \b\d+\b 检查十进制和八进制常量。
• \b0[xX][\da-fA-F]+\b 检查十六进制常量。

虽然在使用正则表达式和 500 行 C 文件进行测试时，该表达式似乎工作正常，但我的 Java 程序在几次匹配后抛出 StackOverflowException。

下面是使用正则表达式的 Java 代码:

Pattern itemsOfInterestPattern = Pattern.compile(
        "/\\*(?:.|[\\r\\n])*?\\*/|\"(?:[^\"\\\\\\r\\n]|\\\\.)*\"|//.*|\\b\\d+\\b|\\b0[xX][\\da-fA-F]+\\b");
// Now, go through the source file and process any tags we find
Matcher itemsOfInterestMatcher = itemsOfInterestPattern.matcher(sourceFile);
int matchNumber = 0;
while (itemsOfInterestMatcher.find()) {
    // We've found a token
    ++matchNumber;
    String token = itemsOfInterestMatcher.group();
    // I then have a switch statement that processes each match depending on its type
}

发生溢出时的堆栈跟踪可以在 http://pastebin.com/7eL6mVd2 找到

导致堆栈溢出的原因是什么？如何更改表达式以使其正常工作？

阿姆尔

Answer 1

从 java.util.regex.Pattern$LazyLoop.match(...) 出现在堆栈跟踪中的次数来看，我敢打赌问题在于使用不情愿的量词 *?:首先它尝试不匹配任何内容，然后回溯并尝试匹配一个字符，然后回溯并尝试匹配两个字符，依此类推。所以如果你有一个很长的评论，它就必须做很多回溯，这显然涉及到递归。 (我不知道是否所有回溯都涉及递归，或者只是不情愿的量词回溯；事实上，直到现在，我什至没有意识到不情愿的量词回溯确实如此。)如果你改变这个部分:

/\*(?:.|[\r\n])*?\*/

对此:

/\*(?:[^*]|\*(?!/))*+\*/

(使用所有格量词 *+ 来代替 - 它尝试尽可能多地匹配，并且从不返回任何内容)，我想您会发现您可以更好地处理长注释。因此，总的来说，您的字符串文字将如下所示:

"/\\*(?:[^*]|\\*(?!/))*+\\*/|\"(?:[^\"\\\\\\r\\n]|\\\\.)*\"|//.*|\\b\\d+\\b|\\b0[xX][\\da-fA-F]+\\b"

<小时/>

编辑添加(2013 年 7 月):我公司的某人最近也遇到了类似的问题，这让我更深入地了解了原因。我发现，问题不在于回溯本身，而在于回溯与子群的结合；例如，a* 或 a*? 不会出现此问题，但 (a)* 或 (a)*? 或 (?:a)* 或 (?:a)*? 会。上面，我建议通过使用 *+ 而不是 *? 来禁用回溯(并对子表达式进行必要的更改)；但另一种方法是通过更改来消除子表达式:

/\*(?:.|[\r\n])*?\*/

对此:

/\*(?s:.*?)\*/

(其中 (?s:...) 表示法等同于 ...，只不过它在本地打开 MULTILINE模式，这意味着 . 将匹配任何字符，甚至 \n)。 .*? 不需要递归即可启用回溯。

也就是说，我认为 *+ 方法在这种情况下更好，也许在大多数情况下，因为它的算法时间复杂度较低。 (.*? 需要不断尝试匹配和重新匹配模式的其余部分；它可以执行任意回溯而不溢出堆栈，但这样做可能会花费大量时间。)