- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在当前实现中 Scanless Interface (SLIF) 在 Marpa 解析器中,词法分析器似乎以下列方式进行最长标记匹配 (LTM):
#!/usr/bin/env perl
use strict; use warnings; use feature qw/say/; use utf8;
use Marpa::R2;
use Data::Dump;
my @data = ('! key : value', '! key:value');
my $grammar = Marpa::R2::Scanless::G->new({
source => \<<'END_GRAMMAR',
:default ::= action => [values]
:start ::= record
:discard ~ ws
ws ~ [\s]+
record ::= ('!') key (':') value
key ~ [\w]+
value ~ [^\s]+
END_GRAMMAR
});
for my $data (@data) {
my $recce = Marpa::R2::Scanless::R->new({
grammar => $grammar,
trace_terminals => 0, # set this to "1" to see how the tokens are recognized
});
$recce->read(\$data);
my $val = $recce->value // die "no parse";
say ">> $data";
dd $$val;
}
>> ! key : value
["key", "value"]
Error in SLIF G1 read: No lexemes accepted at position 2
* Error was at end of input
* String before error: ! key:value
Marpa::R2 exception at marpa.pl line 33.
>> ! key : value
["key", "value"]
>> ! key:value
["key", "value"]
!
被认出来了,一个
key
token 必须遵循。在这个位置进行词法分析时,
value
token 匹配最长的子串
key:value
虽然它不能发生在这个位置。因此,解析失败。
value
更长的子字符串。因此是首选。使用
pause
事件,然后我可以手动解析它,尽管我必须保留一个幻影规则以获得正确的语义。
#!/usr/bin/env perl
use strict; use warnings; use feature qw/say/; use utf8;
use Marpa::R2;
use Data::Dump;
my @data = ('! key : value', '! key:value', '! key :value', '! key: value');
my $grammar = Marpa::R2::Scanless::G->new({
source => \<<'END_GRAMMAR',
:default ::= action => [values]
:start ::= Record
:discard ~ ws
ws ~ [\s]+
Record ::=
('!') Key (<Op colon>) Value # not directly used
| ('!') KeyValue
Key ~ key
Value ~ value
KeyValue~ key <ws any> ':' <ws any> value
:lexeme ~ KeyValue pause => before event => 'before KeyValue'
<Op colon> ~ ':'
key ~ [\w]+
value ~ [^\s]+
<ws any>~ [\s]*
END_GRAMMAR
});
my %events = (
'before KeyValue' => sub {
my ($recce, $string, $start, $length) = @_;
my ($k, $o, $v) = split /(\s*:\s*)/, $string, 2;
say STDERR qq(k="$k" o="$o" v="$v");
my $pos = $start;
$recce->lexeme_read('Key' => $pos, length($k), $k);
$pos += length $k;
$recce->lexeme_read('Op colon' => $pos, length($o), $o);
$pos += length $o;
$recce->lexeme_read('Value' => $pos, length($v), $v);
},
);
for my $data (@data) {
my $recce = Marpa::R2::Scanless::R->new({
grammar => $grammar,
trace_terminals => 0,
});
my $length = length $data;
for (
my $pos = $recce->read(\$data);
$pos < $length;
$pos = $recce->resume()
) {
say STDERR "pause";
my ($start, $length) = $recce->pause_span();
my $str = substr $data, $start, $length;
for my $event_data (@{ $recce->events }) {
my ($name) = @$event_data;
my $code = $events{$name} // die "no code for event $name";
$recce->$code($str, $start, $length);
}
}
my $val = $recce->value // die "no parse";
say ">> $data";
dd $$val;
}
>> ! key : value
["key", "value"]
>> ! key:value
["key", "value"]
>> ! key :value
["key", "value"]
>> ! key: value
["key", "value"]
最佳答案
请注意,自版本 2.079_015 , Marpa 支持 Longest Acceptable Tokens Matching 的概念,这意味着只需添加:
lexeme default = forgiving => 1
#!env perl -w
use strict;
use Marpa::R2;
use Data::Dump;
use feature qw/say/;
my $grammar = Marpa::R2::Scanless::G->new({source => \do {local $/; <DATA>}});
my @data = ('! key : value', '! key:value', '! key :value', '! key: value');
foreach (@data) {
my $r = Marpa::R2::Scanless::R->new({grammar => $grammar});
$r->read(\$_);
my $val = $r->value;
say ">> $_"; dd $$val;
}
__DATA__
:default ::= action => [values]
lexeme default = forgiving => 1
:start ::= record
:discard ~ ws
ws ~ [\s]+
record ::= ('!') key (':') value
key ~ [\w]+
value ~ [^\s]+
>> ! key : value
["key", "value"]
>> ! key:value
["key", "value"]
>> ! key :value
["key", "value"]
>> ! key: value
["key", "value"]
关于perl - 在 Marpa::R2::Scanless 中防止天真的最长标记匹配,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17773976/
我正在尝试编写一个名为 map-longest 的 Clojure 实用函数(感谢备用名称建议)。该函数将具有以下“签名”: (map-longest fun missing-value-seq c1
为什么我创建了一个重复的线程 我在阅读后创建了这个线程 Longest increasing subsequence with K exceptions allowed .我意识到提出问题的人并没有真
我正在编写一个 Sub 来识别 1 到 1000 之间最长的 Collatzs 序列。由于我刚刚开始学习 VBA,我想知道如何添加过程来计算每个序列的长度。 Sub Collatz() Dim i
我正在编写一个 Sub 来识别 1 到 1000 之间最长的 Collatzs 序列。由于我刚刚开始学习 VBA,我想知道如何添加过程来计算每个序列的长度。 Sub Collatz() Dim i
我正在尝试减去 CSV 中的两列以创建第三列“持续时间”结束时间 - 开始时间 每一行也对应一个用户 ID。 我可以创建一个仅包含“持续时间”列的 csv 文件,但我宁愿将其重定向回原始 csv。 例
我在 2018.04 玩这个最长的 token 匹配,但我认为最长的 token 不匹配: say 'aaaaaaaaa' ~~ m/ | a+? | a+ /; # 「a」
因此,按照规范规定最终用户/应用程序提供的给定变量(200 字节)的字节长度。 使用 python 字符串,字符串的最大字符长度是多少,满足 200 字节,因此我可以指定我的数据库字段的 max_le
我需要针对我们的Jenkins构建集群生成每周报告。报告之一是显示具有最长构建时间的作业列表。 我能想到的解决方案是解析每个从属服务器(也是主服务器)上的“构建历史”页面,对于作业的每个构建,都解析该
我正在构建一个 iOS 应用程序,它将流式传输最长为 15 秒的视频。我阅读了有关 HLS 的好文章,因此我一直在对片段大小为 5 秒的视频进行转码。如果视频的第一部分加载时间太长,那么我们可以在接下
docs for Perl 6 longest alternation in regexes punt to Synopsis 5记录 longest token matching 的规则.如果不同的
我是一名优秀的程序员,十分优秀!