C++ token 类型

Question

我假设 C++ token 类型(根据 2.7 Tokens [lex.token])不形成相交集(即 int 被认为只属于keyword token 类型，而不是 keyword 和 identifier token 类型)。考虑到这一点，出现了以下问题。

C++11 引用:

2.2 Phases of translation [lex.phases]

7 White-space characters separating tokens are no longer significant. Each preprocessing token is converted into a token. (2.7). The resulting tokens are syntactically and semantically analyzed and translated as a translation unit.

因此，C++ 文本的句法和语义分析是在将文本溢出到标记之后进行的。

另一个 C++11 引用:

2.7 Tokens [lex.token]

token:
identifier
keyword
literal
operator
punctuator

在标准中我找不到operator 和punctuator 语法非终结符的定义。无论如何，根据 2.12 关键字 和 2.13 运算符和标点符号，标记 new 可以是 关键字 或运算符 token 。 C++ 编译器怎么可能在执行代码的句法和语义分析之前确定 new 标记的类型？

Answer 1

new和 delete是名称由单个标记组成的可重载运算符。

产生式preprocessing-op-or-punc ([lex.operators]/1) 和operator ([over.oper]/1) 是去除标点符号和预处理运算符{ } [ ] # ## ( ) ; : ... ，有向字母替代标记 <: :>等，不可重载运算符 . .* :: ? , 词汇关键字备用标记 and and_eq等，以及多 token 运算符的添加 new[] , delete[] , () , 和 [] . new , delete , new[]和 delete[]包含在 operator 中，以便它们的 operator-function-id(operator new 等)可以遵循其他可重载运算符的规则，而不必重复语言，保留它更新，并发明一个新的产生式(dynamic-function-id？)出现在 operator-function-id 出现的任何地方。请注意，名称具有标识符词法形式(sizeof、typeid 等)的不可重载运算符不包含在operator 中，因此也不包含在preprocessing-op 中-或-刺痛。

虽然这会在 identifier 和 preprocessing-op-or-punc 产品之间引入歧义，但这不会以任何方式影响第 3 阶段翻译。对于第 7 阶段，keyword 和 operator 之间存在歧义，这也不是问题，因为 operator 生产和其他包括代币 new和 delete例如new-expression ([expr.new]) 不引用关键字或运算符产生式，而是包含直接相关的代币。