- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我目前正在为我设计的语言编写翻译。
词法分析器/解析器(GLR)是用Flex / Bison编写的,而主要的解释器是用D编写的-到目前为止,一切都可以正常工作。
问题是我还想添加字符串插值,即识别包含特定模式(例如"[some expression]"
)的字符串文字并转换包含的表达式。我认为这应该在解析器级别的相应语法操作中完成。
我的想法是将插入的字符串转换/处理为简单连接后的样子(因为它现在可以正常工作)。
例如。
print "this is the [result]. yay!"
print "this is the " + result + ". yay!"
最佳答案
如果确实需要,可以通过生成reentrant parser重新解析该字符串。尽管我想您可以使用flex的缓冲区堆栈将某些东西与默认扫描仪一起弄混,但您可能还需要reentrant scanner。确实,值得学习如何基于避免不必要的全局变量的通用原理构建可重入的解析器和扫描器,无论您是否为此目的而需要它们。
但是,您实际上不需要重新解析任何内容。您可以一次完成整个解析。您只需要扫描仪中有足够的智能即可了解嵌套插值。
基本思想是让扫描程序将带有插值的字符串文字拆分为一系列令牌,这些令牌可以由解析器轻松组装为适当的AST。由于扫描程序可能从单个字符串文字中返回多个令牌,因此我们需要引入start condition来跟踪扫描当前是否在字符串文字中。而且,由于插值可以嵌套,因此我们将使用flex的可选start condition stack(通过%option stack
启用)来跟踪嵌套上下文。
这是一个粗略的草图。
如前所述,扫描程序具有额外的启动条件:SC_PROGRAM
是默认值,默认值在扫描程序扫描常规程序文本时生效,而SC_STRING
在扫描程序扫描字符串时有效。仅需要SC_PROGRAM
是因为flex没有提供正式接口来检查启动条件堆栈是否为空;除了嵌套之外,它与INITIAL
顶级启动条件相同。开始条件堆栈用于跟踪插值标记(在此示例中为[
和]
),这是必需的,因为插值表达式可能使用方括号(例如,作为数组下标),甚至可能包含嵌套插值字符串。由于除一个例外,SC_PROGRAM
与INITIAL
相同,因此我们将其设为包含规则。
%option stack
%s SC_PROGRAM
%x SC_STRING
%%
["] { yy_push_state(SC_STRING); return '"'; }
<SC_STRING>["] { yy_pop_state(); return '"'; }
<*>"[" { yy_push_state(SC_PROGRAM); return '['; }
<INITIAL>"]" { return ']'; }
<*>"]" { yy_pop_state(); return ']'; }
INITIAL
状态)。不必在扫描仪中发出错误消息。我们可以将无与伦比的右括号传递给解析器,然后解析器将执行必要的任何错误恢复。
SC_STRING
状态,我们需要返回字符串的令牌,可能包括转义序列:
<SC_STRING>{
[^[\\"]+ { yylval.str = strdup(yytext); return T_STRING; }
\\n { yylval.chr = '\n'; return T_CHAR; }
\\t { yylval.chr = '\t'; return T_CHAR; }
/* ... Etc. */
\\x[[:xdigit]]{2} { yylval.chr = strtoul(yytext, NULL, 16);
return T_CHAR; }
\\. { yylval.chr = yytext[1]; return T_CHAR; }
}
string : '"' piece '"' { $$ = $2; }
| '"' piece piece_list '"' { $$ = make_concat_node(
prepend_to_list($2, $3));
}
piece : T_STRING { $$ = make_literal_node($1); }
| '[' expr ']' { $$ = $2; }
piece_list
: piece { $$ = new_list($1); }
| piece_list piece { $$ = append_to_list($1, $2); }
关于string - 在Flex/Bison中实现字符串插值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57971191/
我有一个使用 Yacc 编写的语法。语法的相关部分摘录在这里 postfix : primary | postfix '[' expr ']' | postfix '[' ex
如何在 bison/yacc 中使用继承的属性? 说,我有这样的语法 - 程序 -> stmts 我想做的是在 Bison 身上: 程序:stmts {$$.next = newLabel(); $1
有什么方法可以更改 Bison 错误消息的格式?例如,不要说 syntax error, unexpected T_ID, expected ';' or T_IMPORT说 unexpected i
我的语法有这两个标记声明: %token RP %token ELSE 而这两条规则: Statement : IF LP Exp RP Statement; Statement : IF LP
如果有一个表单的输入文件: BEGIN stuff.... END BEGIN stuff ... END 我的 .y 文件是这样的 %token BEGIN %token END %star
我希望为现有语言创建一个 JavaScript 解析器,该语言目前具有笨拙的“手工制作”C# 和 Java 解析器。我想使用 Jison,并且也一直在尝试学习 Bison 的基础知识。 我不确定如何回
目前我正在研究一个源到源编译器,我已经编写了一个野牛解析器,可以正确地为输入创建 AST。我现在需要对语法树进行多次转换,因此我需要向树中插入许多节点。 我可以手动创建所有要添加到语法树中的结构体/联
如果有一个表单的输入文件: BEGIN stuff.... END BEGIN stuff ... END 我的 .y 文件是这样的 %token BEGIN %token END %star
我正在寻找为现有语言创建 JavaScript 解析器的方法,该语言目前具有笨拙的“手工制作”C# 和 Java 解析器。想用Jison,也在努力学习Bison的基础。 一个我不确定如何回答的问题是
我正在使用 flex/bison 编写解析器(我可以用 Python 编写解析器,但我总是更喜欢经典。) 当我用这个编译代码时: gcc -lfl -ly chance.tab.c lex.yy.c
正在使用 flex/bison 开发编译器。我的构建输出中有此警告。 警告:在默认操作中键入冲突 ('s' '') 请问有什么帮助吗? 最佳答案 它似乎与源中的 %token 和 %type 声明有关
考虑这个 lex.l 文件: %{ #include "y.tab.h" %} digit [0-9] letter [a-zA-Z] %% "+"
我正在为 bison 中的一个简单的 Pascal 编译器编写语法,我想可视化我在 pascal.y 中指定的语法的解析树。是否可以基于我的 pascal.y 文件以图形方式显示语法树? 最佳答案 野
我正在尝试编写一个能够使用以下输入的语法: begin #this is a example x = 56; while x > 0 do begin point 15
我正在尝试使用 BNF 语法编写 Flex/Bison 文件。但是,当我尝试编译时出现错误,而且我不确定如何调试它们。 BNF语法: ::= | head() ::=:: | @ | tail() |
我正在用 Flex/Bison 编写一个小程序来标记/解析我创建的查询语言。 我想知道是否有任何方法可以在 Flex/Bison 中创建任何关键字。 我的意思是:flex 将输入分解成一个标记列表,但
我正在尝试使用 flex 和 bison 创建过滤器,因为我想从复杂的语言中获取某些语法元素。我的计划是使用 flex + bison 来识别语法,并转储出感兴趣元素的位置。 (然后使用脚本根据转储的
我正在尝试实现一个可以进行浮点运算的 Flex/bison 计算器。我的 Flex 代码如下所示 %{ #include "calc.tab.h" #include void yyerror(cha
我正在尝试使用 FLEX 和 BISON 进行一些练习。 这是我写的代码: calc_pol.y %{ #define YYSTYPE double #include "calc_pol.tab.h"
我有一个使用括号和方括号作为分隔符的语法。当由 bison 生成的解析器输入带有不平衡分隔符的输入时,传递给 yyerror 的 YYLTYPE* 中的错误位置是输入的结尾。所以,例如,在输入 x
我是一名优秀的程序员,十分优秀!