python - 试图在注释或文字中查找关键字的所有实例？

Question

我正在尝试在某些 Java 代码(使用 Python 脚本)中找到不在注释或字符串中的关键字“public”的所有实例，也就是在 // 之后，在 /* 和 */ 之间，而不是在两者之间双引号或单引号，它们不是变量名的一部分——即它们前面必须有空格、制表符或换行符，并且必须跟在相同的后面。

所以这就是我目前所拥有的——

//.*\spublic\s.*\n
/\*.*\spublic\s.*\*/
".*\spublic\s.*"
'.*\spublic\s.*'

我把这件事搞砸了吗？

但这正是我要找的。我怎样才能扭转它并搜索这四个表达式之和的倒数，作为单个正则表达式？

我已经发现这可能使用了负面的前瞻和后视，但我仍然无法将它们拼凑在一起。此外，对于/**/正则表达式，我担心 .* 不匹配换行符，因此它无法识别此 public 在评论中:

/*
public
*/

这点以下的一切都是我在纸上思考的，可以无视。这些想法并不完全准确。

编辑:

我敢说 (?<!//).*public.* 会匹配任何不在单行注释中的内容，所以我掌握了窍门。我认为。但仍然不确定如何组合所有内容。

编辑2:

那么 - 遵循这个想法，我 | 编辑了他们所有以获得 -
(?<!//).*public.*|(?<!/\*).*public.\*/(?!\*/)|(?<!").*public.*(?!")|(?<!').*public.*(?!')
但我不确定这一点。 //public 不会被第一个替代匹配，但会被第二个匹配。我需要 AND 前瞻和后视，而不是 OR 整个事情。

Answer 1

对不起，但我得告诉你，你试图做的事情是不可能的。原因主要是因为 Java 不是常规语言。众所周知，大多数正则表达式引擎都提供非常规功能，但 Python 尤其缺乏递归 (PCRE) 或平衡组 (.NET) 之类的功能。但让我们更深入地研究一下。

首先，为什么你的模式没有你想象的那么好？ (用于在这些文字中匹配 public 的任务；类似的问题将适用于反转逻辑)

正如您已经认识到的那样，您将遇到换行符问题(在 /*...*/ 的情况下)。这可以通过使用修饰符/选项/标志 re.S(它改变 . 的行为)或使用 [\s\S] 而不是 .(因为前者匹配任何字符)来解决。

但还有其他问题。您只想查找周围出现的字符串或注释文字。您实际上并没有确保它们专门围绕有问题的 public。我不确定在 Java 中你可以在一行上放多少，但是如果你有一个任意字符串，然后是 public，然后是单行上的另一个字符串，那么你的正则表达式将匹配 public，因为它可以找到" 前后。即使这是不可能的，如果在同一个输入中有两个块注释，那么这两个块注释之间的任何 public 都会导致匹配。因此，您需要找到一种方法来断言您的 public 确实在 "..." 或 /*...*/ 内，而不仅仅是可以在其左侧的任何位置找到这些文字。

下一件事:匹配不能重叠。但是您的匹配包括从开头文字到结尾文字的所有内容。所以如果你有 "public public" 那只会导致一场比赛。在这里捕获无法帮助您。通常避免这种情况的技巧是使用环视(不包含在匹配中)。但是(正如我们稍后将看到的)lookbehind 并没有你想象的那么好，因为它不能是任意长度(只有在 .NET 中才有可能)。

现在是最糟糕的。如果评论中有 " 怎么办？这应该不算数吧？如果字符串中有 // 或 /* 或 */ 怎么办？这应该不算数吧？ ' 字符串中的 " 和 " 字符串中的 ' 怎么样？更糟糕的是，\" 字符串中的 " 呢？因此，为了 100% 的稳健性，您还必须对周围的分隔符进行类似的检查。这通常是正则表达式达到其功能极限的地方，这就是为什么您需要一个适当的解析器来遍历输入字符串并构建整个代码树。

但是，假设您永远不会在字符串中包含注释文字，并且您永远不会在注释中使用引号(或仅匹配引号，因为它们将构成一个字符串，无论如何我们不希望字符串中包含 public)。所以我们基本上假设有问题的每个文字都正确匹配，并且它们从不嵌套。在这种情况下，您可以使用前瞻来检查您是在其中一个文字的内部还是外部(实际上是多个前瞻)。我很快就会谈到这一点。

但还剩下一件事。什么 (?<!//).*public.* 不起作用？为了使其匹配，(?<!//) 在任何单个位置匹配就足够了。例如如果您刚刚输入 // public，引擎将在字符串的开头(在字符串开头的左侧)尝试负向后视，会发现没有 // ，然后使用 .* 消耗 // 和空间匹配 public 。你真正想要的是 (?<!//.*)public 。这将从 public 的起始位置开始向后查看，并通过当前行一直向左看。但是...这是一个可变长度的lookbehind，只有.NET 支持。

但是让我们看看如何确保我们确实是字符串的 之外的 。我们可以使用向前看一直到输入的末尾，并检查途中是否有偶数个引号。

public(?=[^"]*("[^"]*"[^"]*)*$)

现在，如果我们真的很努力，我们也可以忽略字符串内部的转义引号:

public(?=[^"]*("(?:[^"\\]|\\.)*"[^"]*)*$)

因此，一旦我们遇到 "，我们将接受非引号、非反斜杠字符或反斜杠字符及其后的任何内容(这也允许转义反斜杠字符，因此在 "a string\\" 中我们不会处理结束的 "因为被逃脱了)。我们可以在多行模式( re.M )中使用它来避免一直到输入的末尾(因为行的末尾就足够了):

public(?=[^"\r\n]*("(?:[^"\r\n\\]|\\.)*"[^"\r\n]*)*$)

( re.M 隐含于以下所有模式)

这是它查找单引号字符串的内容:

public(?=[^'\r\n]*('(?:[^'\r\n\\]|\\.)*'[^'\r\n]*)*$)

对于块注释，它更容易一些，因为我们只需要查找 /* 或字符串的结尾(这次是整个字符串的结尾)，而不会在途中遇到 */。这是通过对每个位置的负前瞻完成的，直到搜索结束:

public(?=(?:(?![*]/)[\s\S])*(?:/[*]|\Z))

但正如我所说，我们现在被单行注释难住了。但无论如何，我们可以将最后三个正则表达式合二为一，因为前瞻实际上并没有提高正则表达式引擎在目标字符串上的位置:

public(?=[^"\r\n]*("(?:[^"\r\n\\]|\\.)*"[^"\r\n]*)*$)(?=[^'\r\n]*('(?:[^'\r\n\\]|\\.)*'[^'\r\n]*)*$)(?=(?:(?![*]/)[\s\S])*(?:/[*]|\Z))

现在那些单行注释呢？模拟可变长度lookbehinds的技巧通常是反转字符串和模式 - 这使得lookbehind成为lookahead:

cilbup(?!.*//)

当然，这意味着我们也必须扭转所有其他模式。好消息是，如果我们不关心转义，它们看起来完全一样(因为引号和块注释都是对称的)。所以你可以在反向输入上运行这个模式:

cilbup(?=[^"\r\n]*("[^"\r\n]*"[^"\r\n]*)*$)(?=[^'\r\n]*('[^'\r\n]*'[^'\r\n]*)*$)(?=(?:(?![*]/)[\s\S])*(?:/[*]|\Z))(?!.*//)

然后，您可以使用 inputLength -foundMatchPosition - foundMatchLength 在实际输入中找到匹配位置。

现在逃跑怎么办？现在这个 get 很烦人，因为我们必须跳过引号，如果它们后跟反斜杠。由于一些回溯问题，我们需要在五个地方解决这个问题。三次，在使用非引号字符时(因为我们现在也需要允许 "\。另外两次，在使用引号字符时(使用负前瞻以确保它们后面没有反斜杠)。让我们看看双引号:

cilbup(?=(?:[^"\r\n]|"\\)*(?:"(?!\\)(?:[^"\r\n]|"\\)*"(?!\\)(?:[^"\r\n]|"\\)*)*$)

(看起来很可怕，但是如果将其与忽略转义的模式进行比较，您会注意到一些差异。)

因此，将其合并到上述模式中:

cilbup(?=(?:[^"\r\n]|"\\)*(?:"(?!\\)(?:[^"\r\n]|"\\)*"(?!\\)(?:[^"\r\n]|"\\)*)*$)(?=(?:[^'\r\n]|'\\)*(?:'(?!\\)(?:[^'\r\n]|'\\)*'(?!\\)(?:[^'\r\n]|'\\)*)*$)(?=(?:(?![*]/)[\s\S])*(?:/[*]|\Z))(?!.*//)

因此，这实际上可能适用于许多情况。但是正如您所见，它很糟糕，几乎无法阅读，而且绝对无法维护。

有哪些注意事项？字符串中没有注释文字，其他类型的字符串中没有字符串文字，注释中没有字符串文字。另外，我们有四个独立的前瞻，这可能需要一些时间(至少我认为我已经取消了大部分回溯)。

无论如何，我相信这与使用正则表达式所能达到的最接近。

编辑:

我刚刚意识到我忘记了 public 不能是较长文字的一部分的条件。您包含了空格，但如果它是输入中的第一件事呢？最简单的方法是使用 \b 。匹配单词字符和非单词字符之间的位置(不包括周围字符)。但是，Java 标识符可能包含任何 Unicode 字母或数字，我不确定 Python 的 \b 是否支持 Unicode。此外，Java 标识符可能包含 $ 。无论如何，这会破坏它。围观救人!与其断言每边都有一个空格字符，不如断言没有非空格字符。因为我们需要对此进行否定环顾，所以我们将获得不将这些字符免费包含在匹配中的优势:

(?<!\S)cilbup(?!\S)(?=(?:[^"\r\n]|"\\)*(?:"(?!\\)(?:[^"\r\n]|"\\)*"(?!\\)(?:[^"\r\n]|"\\)*)*$)(?=(?:[^'\r\n]|'\\)*(?:'(?!\\)(?:[^'\r\n]|'\\)*'(?!\\)(?:[^'\r\n]|'\\)*)*$)(?=(?:(?![*]/)[\s\S])*(?:/[*]|\Z))(?!.*//)

并且因为仅仅将这个代码片段向右滚动，人们无法完全理解这个正则表达式有多么可笑，这里它处于自由空间模式(re.X)并带有一些注释:

(?<!\S)      # make sure there is no trailing non-whitespace character
cilbup       # public
(?!\S)       # make sure there is no leading non-whitespace character
(?=          # lookahead (effectively lookbehind!) to ensure we are not inside a
             # string
  (?:[^"\r\n]|"\\)*
             # consume everything except for line breaks and quotes, unless the
             # quote is followed by a backslash (preceded in the actual input)
  (?:        # subpattern that matches two (unescaped) quotes
    "(?!\\)  # a quote that is not followed by a backslash
    (?:[^"\r\n]|"\\)*
             # we've seen that before
    "(?!\\)  # a quote that is not followed by a backslash
    (?:[^"\r\n]|"\\)*
             # we've seen that before
  )*         # end of subpattern - repeat 0 or more times (ensures even no. of ")
  $          # end of line (start of line in actual input)
)            # end of double-quote lookahead
(?=(?:[^'\r\n]|'\\)*(?:'(?!\\)(?:[^'\r\n]|'\\)*'(?!\\)(?:[^'\r\n]|'\\)*)*$)
             # the same horrible bastard again for single quotes
(?=          # lookahead (effectively lookbehind) for block comments
  (?:        # subgroup to consume anything except */
    (?![*]/) # make sure there is no */ coming up
    [\s\S]   # consume an arbitrary character
  )*         # repeat
  (?:/[*]|\Z)# require to find either /* or the end of the string
)            # end of lookahead for block comments
(?!.*//)     # make sure there is no // on this line