java - 区分右移 (>>) 和 Java 泛型

Question

我正在为 flex 中的 java 编写词法分析器。
Java规范说:

"The longest possible translation is used at each step, even if the result does not ultimately make a correct program while another lexical translation would. There is one exception: if lexical translation occurs in a type context (§4.11) and the input stream has two or more consecutive > characters that are followed by a non-> character, then each > character must be translated to the token for the numerical comparison operator >."

那么我如何区分右移运算符和类似 <List<List 的东西 >> ?

Answer 1

最初的 Java 泛型提案 (JSR-14) 需要修改参数化类型的 Java 语法，以便它接受 >>和 >>>在可以使用多个右尖括号的情况下。 (我找不到 JSR-14 有用的权威链接，但 Gilad Bracha 的 GJ specification 在他的网站上仍然可用；语法修改见第 2.3 节。)

据我所知，这些修改从未正式纳入任何 Java 标准；最终，JLS8 对您在问题中引用的词法分析的描述进行了更改。 (参见 JDK-8021600 ，它也重现了最初提出的复杂语法。)

Bracha 等人提出的语法修改将起作用，但您可能会发现它们使合并其他语法更改变得更加复杂。 (我还没有真正深入研究过这个问题，因此对于当前的 Java 语言规范来说，这实际上可能不是问题。但对于 future 的版本，它仍然可能是一个问题。)

虽然上下文词法分析确实允许在 JLS 中实际使用更简单的语法，但它确实给词法分析带来了困难。一种可能的方法是使用 scannerless parser 完全放弃词法分析。 ;这肯定会奏效，但您将无法在 Bison/Flex 模型中实现。此外，您可能会发现支持无扫描仪解析所需的一些修改也需要对已发布的语法进行重大更改。

另一种可能性是使用来自解析器的词法反馈，通过合并中间规则操作 (MRA)，在输入和退出类型上下文时打开和关闭“类型上下文”标志。 (第 4.11 节中有完整的类型上下文列表，可用于查找语法中的适当位置。)如果您尝试这样做，请注意 MRA 的执行与词法分析并不完全同步，因为解析器通常需要先行 token 来决定是否减少 MRA。您通常需要在语法中比您想象的更早放置 MRA 一个符号，以便它在需要时实际生效。

另一种可能是永远不认识 >>和 >>>作为 token 。相反，词法分析器可以返回两个不同的 >标记，当紧邻的下一个字符是 > 时使用的标记:

>/>     { return CONJUNCTIVE_GT; }
>       { return INDEPENDENT_GT; }
  /* These two don't need to be changed. */
>>=     { return SHIFT_ASSIGN; }
>>>=    { return LONG_SHIFT_ASSIGN; }

然后你可以修改你的语法来识别 >>和 >>>运算符，同时允许任何一种形式的 >作为右尖括号:

shift_op     : CONJUNCTIVE_GT INDEPENDENT_GT
long_shift_op: CONJUNCTIVE_GT CONJUNCTIVE_GT INDEPENDENT_GT
close_angle  : CONJUNCTIVE_GT | INDEPENDENT_GT
gt_op        : INDENPENDENT_GT /* This unit production is not really necessary */

这应该可行(尽管我还没有尝试过)，但是它与 Bison/Yacc 运算符优先级机制并不能很好地配合使用，因为您不能为非终端声明优先级。因此，您需要使用具有显式运算符优先级规则的表达式语法，而不是使用优先级声明增强的歧义语法。