正则表达式捕获从特定表达式到 Perl 中第一个空行的多行

Question

我有这个文件，我想匹配#sent_id=\d+ 和空白行之间的所有内容。这是我的文件:

# newdoc
# newpar
# sent_id = 1
# text = 2019, un bon cru pour les amateurs de technologie.
1   2019    2019    NUM _   _   5   nummod  _   SpaceAfter=No
2   ,   ,   PUNCT   _   _   1   punct   _   _
3   un  un  DET _   Definite=Ind|Gender=Masc|Number=Sing|PronType=Art   5   det _   _
4   bon bon ADJ _   Gender=Masc|Number=Sing 5   amod    _   _
5   cru cru NOUN    _   Gender=Masc|Number=Sing 0   root    _   _
6   pour    pour    ADP _   _   8   case    _   _
7   les le  DET _   Definite=Def|Gender=Masc|Number=Plur|PronType=Art   8   det _   _
8   amateurs    amateur NOUN    _   Gender=Masc|Number=Plur 5   nmod    _   _
9   de  de  ADP _   _   10  case    _   _
10  technologie technologie NOUN    _   Gender=Fem|Number=Sing  8   nmod    _   SpaceAfter=No
11  .   .   PUNCT   _   _   5   punct   _   SpacesAfter=\n

# sent_id = 2
# text = L’année a été généreuse en innovations prometteuses. Voici les six tendances qui pourraient bousculer notre paysage technologique.
1   L’  L’  PROPN   _   _   5   nsubj   _   SpaceAfter=No
2   année   année   NOUN    _   Gender=Fem|Number=Sing  1   nmod    _   _
3   a   avoir   AUX _   Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin   5   aux:tense   _   _
4   été être    AUX _   Gender=Masc|Number=Sing|Tense=Past|VerbForm=Part    5   cop _   _
5   généreuse   généreux    ADJ _   Gender=Fem|Number=Sing  0   root    _   _
6   en  en  ADP _   _   7   case    _   _
7   innovations innovation  NOUN    _   Gender=Fem|Number=Plur  5   obl _   _
8   prometteuses    prometteur  ADJ _   Gender=Fem|Number=Plur  7   amod    _   SpaceAfter=No
9   .   .   PUNCT   _   _   10  punct   _   _
10  Voici   voici   VERB    _   _   5   parataxis   _   _
11  les le  DET _   Definite=Def|Gender=Fem|Number=Plur|PronType=Art    13  det _   _
12  six six NUM _   _   13  nummod  _   _
13  tendances   tendance    NOUN    _   Gender=Fem|Number=Plur  10  obj _   _
14  qui qui PRON    _   PronType=Rel    15  nsubj   _   _
15  pourraient  pouvoir VERB    _   Mood=Cnd|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin   13  acl:relcl   _   _
16  bousculer   bousculer   VERB    _   VerbForm=Inf    15  xcomp   _   _
17  notre   son DET _   Gender=Masc|Number=Sing|Poss=Yes|PronType=Prs   18  det _   _
18  paysage paysage NOUN    _   Gender=Masc|Number=Sing 16  obj _   _
19  technologique   technologique   ADJ _   Gender=Masc|Number=Sing 18  amod    _   SpaceAfter=No
20  .   .   PUNCT   _   _   5   punct   _   SpacesAfter=\n

# sent_id = 3
# text = A Hongkong, des centaines d’arrestations lors d’affrontements, une situation qui semble « désespérée ».
1   A   à   ADP _   _   2   case    _   _
2   Hongkong    Hongkong    PROPN   _   _   0   root    _   SpaceAfter=No
3   ,   ,   PUNCT   _   _   2   punct   _   _
4-5 des _   _   _   _   _   _   _   _
4   de  de  ADP _   _   6   case    _   _
5   les le  DET _   Definite=Def|Gender=Fem|Number=Plur|PronType=Art    6   det _   _
6   centaines   centaine    NOUN    _   Gender=Fem|Number=Plur  2   nmod    _   _
7   d’  d’  PROPN   _   _   6   appos   _   SpaceAfter=No
8   arrestations    arrestation NOUN    _   Gender=Fem|Number=Plur  7   flat:name   _   _
9   lors    lors    ADV _   _   10  case    _   _
10  d’  d’  PROPN   _   _   6   nmod    _   SpaceAfter=No
11  affrontements   affrontement    NOUN    _   Gender=Masc|Number=Plur 10  flat:name   _   SpaceAfter=No
12  ,   ,   PUNCT   _   _   14  punct   _   _
13  une un  DET _   Definite=Ind|Gender=Fem|Number=Sing|PronType=Art    14  det _   _
14  situation   situation   NOUN    _   Gender=Fem|Number=Sing  10  appos   _   _
15  qui qui PRON    _   PronType=Rel    16  nsubj   _   _
16  semble  sembler VERB    _   Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin   14  acl:relcl   _   _
17  «   «   PUNCT   _   _   18  punct   _   SpacesAfter= 
18  désespérée  désespéré   ADJ _   Gender=Fem|Number=Sing  16  xcomp   _   SpacesAfter= 
19  »   »   PUNCT   _   _   18  punct   _   SpaceAfter=No
20  .   .   PUNCT   _   _   10  punct   _   SpacesAfter=\n

# sent_id = 4
# text = Des dizaines de milliers de personnes ont défilé dans la mégapole. « C’est triste que nos revendications de 2019 doivent être reportées à 2020 », a souligné un des organisateurs.
1-2 Des _   _   _   _   _   _   _   _
1   De  de  ADP _   _   3   case    _   _
2   les le  DET _   Definite=Def|Gender=Fem|Number=Plur|PronType=Art    3   det _   _
3   dizaines    dizaine NOUN    _   Gender=Fem|Number=Plur  9   nsubj   _   _
4   de  de  ADP _   _   5   case    _   _
5   milliers    millier NOUN    _   Gender=Masc|Number=Plur 3   nmod    _   _
6   de  de  ADP _   _   7   case    _   _
7   personnes   personne    NOUN    _   Gender=Fem|Number=Plur  5   nmod    _   _
8   ont avoir   AUX _   Mood=Ind|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin   9   aux:tense   _   _
9   défilé  défiler VERB    _   Gender=Masc|Number=Sing|Tense=Past|VerbForm=Part    31  ccomp   _   _
10  dans    dans    ADP _   _   12  case    _   _
11  la  le  DET _   Definite=Def|Gender=Fem|Number=Sing|PronType=Art    12  det _   _
12  mégapole    mégapole    NOUN    _   Gender=Fem|Number=Sing  9   obl:arg _   SpaceAfter=No
13  .   .   PUNCT   _   _   17  punct   _   _
14  «   «   PUNCT   _   _   17  punct   _   SpacesAfter= 
15  C’  C’  PROPN   _   _   17  nsubj   _   SpaceAfter=No
16  est être    AUX _   Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin   17  cop _   _
17  triste  triste  ADJ _   Gender=Masc|Number=Sing 9   xcomp   _   _
18  que que SCONJ   _   _   23  mark    _   _
19  nos son DET _   Gender=Fem|Number=Plur|Poss=Yes|PronType=Prs    20  det _   _
20  revendications  revendication   NOUN    _   Gender=Fem|Number=Plur  23  nsubj   _   _
21  de  de  ADP _   _   22  case    _   _
22  2019    2019    NUM _   _   20  nmod    _   _
23  doivent devoir  VERB    _   Mood=Ind|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin   17  ccomp   _   _
24  être    être    AUX _   VerbForm=Inf    25  aux:pass    _   _
25  reportées   reporter    VERB    _   Gender=Fem|Number=Plur|Tense=Past|VerbForm=Part 23  xcomp   _   _
26  à   à   ADP _   _   27  case    _   _
27  2020    2020    NUM _   _   25  obl:arg _   SpacesAfter= 
28  »   »   PUNCT   _   _   17  punct   _   SpaceAfter=No
29  ,   ,   PUNCT   _   _   9   punct   _   _
30  a   avoir   AUX _   Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin   31  aux:tense   _   _
31  souligné    souligner   VERB    _   Gender=Masc|Number=Sing|Tense=Past|VerbForm=Part    0   root    _   _
32  un  un  PRON    _   Gender=Masc|Number=Sing 31  nsubj   _   _
33-34   des _   _   _   _   _   _   _   _
33  de  de  ADP _   _   35  case    _   _
34  les le  DET _   Definite=Def|Gender=Masc|Number=Plur|PronType=Art   35  det _   _
35  organisateurs   organisateur    NOUN    _   Gender=Masc|Number=Plur 32  nmod    _   SpaceAfter=No
36  .   .   PUNCT   _   _   31  punct   _   SpacesAfter=\n

我想捕获 #sent_id 和新的 #sent_id 之间的所有内容。

我试过了，但它与所有文件匹配。

sub extract_dependancies{

    open my $fh, "<:encoding(utf-8)", shift or die "$!\n";
    undef $/;
    my $file = <$fh>;
   # sent_id to blank line
    while($file =~ /^#\ssent.+\d+(.+)^$/msg){
        my $sentence = $1;
        #next if $sentence !~ /d+\tobj/;
    }
}

标量语句检索所有文件。我想逐句逐句。句子应该包含两个#sent_id 之间的内容。

# text = 2019, un bon cru pour les amateurs de technologie.
1   2019    2019    NUM _   _   5   nummod  _   SpaceAfter=No
2   ,   ,   PUNCT   _   _   1   punct   _   _
3   un  un  DET _   Definite=Ind|Gender=Masc|Number=Sing|PronType=Art   5   det _   _
4   bon bon ADJ _   Gender=Masc|Number=Sing 5   amod    _   _
5   cru cru NOUN    _   Gender=Masc|Number=Sing 0   root    _   _
6   pour    pour    ADP _   _   8   case    _   _
7   les le  DET _   Definite=Def|Gender=Masc|Number=Plur|PronType=Art   8   det _   _
8   amateurs    amateur NOUN    _   Gender=Masc|Number=Plur 5   nmod    _   _
9   de  de  ADP _   _   10  case    _   _
10  technologie technologie NOUN    _   Gender=Fem|Number=Sing  8   nmod    _   SpaceAfter=No
11  .   .   PUNCT   _   _   5   punct   _   SpacesAfter=\n

第一句等等。但要么我捕获所有文件，要么什么都不捕获。

Answer 1

一种方法:读取空行之间的文本 block 中的文件。

use warnings;
use strict;
use feature 'say';

die "Usage: $0 file\n" if not @ARGV;

my @sentences;

# First pass lines until the first  "# sent_id =..." (and that one)
while (<>) { last if /^\s*#\s*sent_id/ }

local $/ = "\n\n";  # read in blocks of up to an empty line

while (<>) {
    # Remove the leading line "# sent_id =...", return the rest
    push @sentences, s{ ^ \#\s* sent_id\s* = \s*[0-9]+ .*?\n }{}xr;
}

say for @sentences;

第一个while <>用于到达并通过第一个 sent_id线。然后下while (<>)从第一个停止的地方开始，按由空行分隔的 block 读取文件。

每个 block 中的第一行，带有sent_id , 被匹配并删除，而其余部分被返回(通过 "non-destructive" /r 修饰符)并添加到数组中。

这会在每个“句子”中保留尾随的空行，如果需要可以轻松删除。

我使用神奇的 "null filehandle" <> 读取文件并为简单起见在主程序中执行所有操作，但请像问题中一样将其放在一个很好的子程序中。然后它可以返回对 @sentences 的引用.

注意 local ，这在像上面这样的短程序中并不重要，但对于一般使用来说是至关重要的；与它一起应用它的全局变量(此处为 $/ )在离开范围时恢复。问题中的代码更改了全局 $/ variable对于解释器中的所有代码。

---

或者按照要求和尝试使用正则表达式解析文件。

一种方法:使用 # sent_id = ... 进行迭代行作为标记

use warnings;
use strict; 
use feature 'say';

die "Usage: $0 file\n" if not @ARGV;

my $content = do { local $/; <> };

my @sentences;

while ( $content =~ / \#\s* sent_id \s*=\s* [0-9]+ .*? \n /gx ) {
    push @sentences, $content =~ /\G (.*?) (?:\n\n|$)/sx;
    #say "pos = ", pos $content;
}

say for @sentences;

\G锚定到上一次与 /g 匹配的位置修改器离开了。因此，带有它的模式(在 push... 行中)从 while 中的模式之后开始匹配。条件匹配，因此它匹配前一个 # sent_id... 之后的所有内容行到下一个空行。

有关 /g 的组合方式，请参阅文档和 \G可以使用，例如 "Global Matching" in perlretut

或者，一次搞定一切

use warnings;
use strict;
use feature 'say';

die "Usage: $0 file\n" if not @ARGV;

my $content = do { local $/; <> };

my @sentences = 
    $content =~ / \#\s*sent_id\s*=\s*[0-9]+ .*?\n (.+?) (?:\n\n|$) /gsx;

say for @sentences;

在我看来，这是最棘手和最不可靠的解决方案。