c++ - 将词法分析器移植到较新版本的 Quex 时出现问题

Question

我曾经用 std::basic_stringstream<char> 为我的 Quex 驱动的词法分析器提供数据存在像这样发送给构造函数:

typedef std::basic_stringstream<char> UStringStream;
UStringStream tokenStream(sCode);
quex::ecmascript_lexer ecmascript_lexer(&tokenStream);

这可以使用 Quex 0.64.8 , 但似乎 API 已更改从那以后它似乎不适用于版本 0.67.4 .

关于我应该如何将我的代码移植到新版本的任何指示将不胜感激。

最好的问候，

帕特里克·J

编辑:删除了关于字符串累加器的问题，它将作为单独的问题重新发布。

Answer 1

这其实是两个问题。假设您编辑文本以便这个问题是关于新的构造函数 API 的。对于蓄能器，请发布一个单独的问题。

构造函数、include_push 和 reset 的新 API 已经完全完成重做以便它可以处理任何类型的输入。关键是“ByteLoader”的抽象。 ByteLoader 是为C 标准文件和流，POSIX 文件描述符(->用于套接字)，并直接从内存加载(在单元测试中很好地检查大量场景)。现在，如何使用它？

为您的输入场景创建一个 ByteLoader，即 'std::stream':

QUEX_NAME(ByteLoader)* byte_loader = QUEX_NAME(ByteLoader_stream_new)(&my_stream);

然后将其传递给构造函数(或 placement new):

MyLexer lexer(byte_loader, /* converter */0);

如果您想处理转换后的内容，您可能必须创建一个转换器并将其作为第二个参数传递。就这样完整的代码变成这样:

QUEX_NAME(ByteLoader)* byte_loader = QUEX_NAME(ByteLoader_stream_new)(&my_stream);
QUEX_NAME(Converter)*  converter   = QUEX_NAME(Converter_IConv_new)("UTF-8", NULL);
MyLexer                lexer(byte_loader, converter);

这种类型的词法分析器结构允许最大的灵 active 。对 C-Standard 文件接口(interface)没有限制，输入可以来自任何来源，例如套接字或串行线。和传入数据的转换是在幕后完成的，而与缓冲区内容的同步完全由词法分析器的引擎。

请注意，构造函数将 ByteLoader 和 Converter 的所有权 转移给了词法分析器。 无需手动删除它们。

ByteLoader-s 和 Converter-s 的 header 和实现是位于

$QUEX_PATH/quex/code_base/buffer/bytes/...

和

$QUEX_PATH/quex/code_base/buffer/lexatoms/converter/...

如果您有新类型的 ByteLoader-s 或 Converter-s ，请将它们提交为一个补丁。一旦他们被测试，他们很可能会进入代码库。