parsing - 这是词法分析器的工作吗？

Question

假设我正在对 ruby​​ 方法定义进行词法分析:

def print_greeting(greeting = "hi")  
end

词法分析器的工作是维护状态并发出相关标记，还是应该相对愚蠢？请注意，在上面的示例中，greeting 参数的默认值为“hi”。在不同的上下文中，greeting = "hi" 是变量赋值，它将 greeting 设置为 "hi"。词法分析器应该发出诸如 IDENTIFIER EQUALS STRING 之类的通用标记，还是应该具有上下文感知能力并发出诸如 PARAM_NAME EQUALS STRING 之类的内容？

Answer 1

我倾向于让词法分析器尽可能愚蠢，从而让它发出 IDENTIFIER EQUALS STRING 标记。在词法分析时，(大多数时候......)没有关于标记应代表什么的可用信息。在词法分析器中拥有这样的语法规则只会使其受到(非常)复杂的语法规则的污染。这就是解析器的一部分。