java - java中导入和方法调用的词法分析

Question

import语句和方法调用如何在java的词法分析中标记化。例如:

导入java.util.Scanner

这是否被视为import、java、util、Scanner(4个 token )或导入，java.util.Scanner(2个 token )

以同样的思路，在:

Scanner input = new Scanner(System.in);
int x = input.nextInt(); 

将 input.nextInt() 视为 input、nextInt() (2 个标记)或 input.nextInt() (1 个 token )

Answer 1

词法分析在Chapter 3 of the JLS中描述。 .

这意味着在您的第一个示例中，它将被标记为

keyword: import 
whitespace 
identifier: java 
seperator: . 
identifier: util 
seperator: .
identifier: Scanner
seperator: ;

所以既不是 2 也不是 4，而是 8 个标记(因为根据 JLS，空格和分隔符都是标记)。

类似地，input.nextInt(); 是 6 个 token ，因为 ( 和 ) 各为一个 token (参见 JLS § 3.11 )。