c - Ragel 中的字符串插值

Question

我正在尝试实现一种语言，我正在使用 Ragel 作为词法分析器(并将 bison 作为解析器)。我希望能够在我的语言中支持字符串插值，但我不确定如何做到这一点。

我的词法分析器对语言的主要部分使用如下所示的扫描器:

sstring = "'" ( ( any -- "'" ) | ( '\\' any ) )* "'";
# dstring = ?;
main := |*
   comment => {};
   '(' => { ADD_TOKEN(LPAREN); };
   ')' => { ADD_TOKEN(RPAREN); };
   # ...
   sstring => { ADD_TOKEN2(STRING); };
   # dstring => ?; 
*|;

我需要做什么才能处理像 "hello #{world}" 这样的字符串插值？

Answer 1

大括号里面的内容可以是一个完整的表达式。内插字符串将转换为串联操作。这对词法分析器来说太多了。您需要解析器的强大功能。因此，在每个内插字符串中识别三种不同类型的标记:

istring_start = "'" ( ( any -- "'" ) | ( '\\' any ) )* "#{";
istring_middle = "}" ( ( any -- "'" ) | ( '\\' any ) )* "#{";
istring_end = "}" ( ( any -- "'" ) | ( '\\' any ) )* "'";

在解析器中你会有这样的规则:

istring : istring_prefix expr ISTRING_END 
                ;
istring_prefix : ISTRING_START
               | istring_prefix expr ISTRING_MIDDLE 
               ;

这些规则构建语法树或编译字节码或任何您想要作为字符串连接操作的代码。