c# - C++ 扫描器(string-fu!)

Question

我正在编写一个扫描器作为编译器的一部分。

我在写这一部分时非常头疼:

我需要能够解析标记流并将它们一个一个地插入 vector ，忽略空格并标记特殊符号(简单情况，让我们只考虑圆括号和大括号)

例子: int main(){ }

应该解析成 6 个不同的标记:

1. 内部
2. 主要
3. (
4. )
5. {

您将如何解决这个问题？我正在用 C++ 编写此代码，但也将不胜感激 java/C# 解决方案。

几点:

1. 不，我不能使用 Boost，我不能保证库会是对我可用。 (不要问...)

2. 我不想使用 lex 或任何其他特殊工具。我从来没有做过这个之前，只是想尝试一次，说我已经做到了。

Answer 1

Stroustrup 的书 The C++ Programming Language 中有一个关于为简单计算器程序构建词法分析器/解析器的很好示例。它应该作为一个很好的起点来学习如何做你想做的事。