c++ - token 和文件流

Question

我研究对文件流进行操作的程序源代码(用 C++ 编写)。但时不时地，我会偶然发现一种叫做tokens 的东西。能否请您向我解释一下 token 的作用以及它们为什么有用？谢谢。

Answer 1

Stream 是指随时间推移可用的数据元素序列。流中的数据元素可以是任何类型:字符、字符串、专用数据结构等。文本文件可以简单地解释为字符流。

在编程语言的上下文中， token 这个词通常是指字符流中一个或多个相关字符的序列。 token 在字符流之上提供了一定程度的抽象，并且通常将其自身分组到流中以供进一步处理。

编程语言编译器中的通常处理顺序是从词法分析器开始，将字符流转换为标记流，然后传递给解析器。 token 的典型表示由类型指示符和 token 的内容组成。

这是一个例子:考虑这个 C++ 程序片段:

class MyClass {
public:
    string name;
};

词法分析器将此程序分组为十个标记流:

'class' (keyword)
'MyClass' (identifier)
'{' (opening brace)
'public' (keyword)
':' (colon)
'string' (identifier)
'name' (identifier)
';' (semicolon)
'}' (closing brace)
';' (semicolon)