python - 确定第一组 CFG

Question

对于 LR 解析器，FIRST 集定义如下 ( source ):

FIRST(A) is the set of terminals which can appear as the first element of any chain of rules matching nonterminal A.

现在给定一个 CFG，(I) 不允许空产生式(即没有规则的格式为 X → ε)并且(II)是正确的(即没有符号产生自己)，我我正在尝试确定第一组。

我的推理是:

• 由于没有空产生式，查看每个规则右侧的第一个符号就足够了。
• 对于所有规则 X → tα(t 是终结符，α 是任意符号串)，t 在 FIRST(X) 中。
• 对于所有规则 X → Yα(Y 是一个非终结符，α 是任意符号串)，FIRST(Y) 的所有元素都在 FIRST(X) 中。

在 X → Yα 的情况下，我需要 FIRST(Y) 以确定 FIRST(X)，我想出了这种递归方法:

class Rule:
    nextId = 0

    def __init__ (self, left, right):
        self.left = left
        self.right = right
        self.id = Rule.nextId
        Rule.nextId += 1

    def __repr__ (self):
        return 'R{}: {} → {}'.format (self.id, self.left, ' '.join (self.right) )

class Grammar:
    def __init__ (self, rules):
        self.rules = {rule.id: rule for rule in rules}
        self.symbols = set (symbol for rule in rules for symbol in [rule.left] + rule.right)
        self.nonTerminals = set (rule.left for rule in rules)
        self.terminals = self.symbols - self.nonTerminals
        self.calculateFirst ()

    def calculateFirst (self):
        self.first = {}
        for nonTerminal in self.nonTerminals:
            self.first [nonTerminal] = self.getFirst (nonTerminal)

    def getFirst (self, symbol):
        if symbol in self.first: return self.first [symbol]

        first = set ()
        for rule in (rule for rule in self.rules.values () if rule.left == symbol):
            prefix = rule.right [0]
            if prefix == symbol: continue
            if prefix in self.terminals: first.add (prefix)
            else: first |= self.getFirst (prefix)

        return first

#here be dragons
rules = [Rule ('S', ['E'] ), Rule ('E', ['T'] ), Rule ('E', ['(', 'E', ')'] ), Rule ('T', ['n'] ), Rule ('T', ['+', 'n'] ), Rule ('T', ['T', '+', 'n'] ) ]


g = Grammar (rules)
print ('Rules:')
for rule in g.rules.values (): print ('\t{}'.format (rule) )
for nonTerminal in g.nonTerminals:
    print ('First ({}) = {}'.format (nonTerminal, g.first [nonTerminal] ) )

对于维基百科上给出的语法，这会产生以下内容:

Rules:
    R0: S → E
    R1: E → T
    R2: E → ( E )
    R3: T → n
    R4: T → + n
    R5: T → T + n
First (S) = {'+', '(', 'n'}
First (E) = {'+', '(', 'n'}
First (T) = {'+', 'n'}

对于另一种语法，它产生:

Rules:
    R0: S → N
    R1: N → V = E
    R2: N → E
    R3: E → V
    R4: V → x
    R5: V → * E
First (V) = {'*', 'x'}
First (S) = {'*', 'x'}
First (N) = {'*', 'x'}
First (E) = {'*', 'x'}

我的问题是:

<强>1。对于符合 I 和 II 的任何给定规则集，该算法会停止吗？

<强>2。对于符合 I 和 II 的任何给定规则集，此算法实际上是否会生成所有非终结符的正确 FIRST 集。

<强>3。有什么聪明的方法可以做到这一点吗？

提前感谢您的评论和回答。

注意事项:我不确定是在这里发布还是在代码审查时发布，但由于我不知道我的代码是否有效(即产生预期结果)我决定在这里发布.如果您觉得它更属于 CR，请告诉我。

Answer 1

我认为你的程序会工作，如果没有可空的非终端，它会终止并产生正确的答案。 (自引用非终端应该没问题。)

有一个聪明的方法可以做到这一点。不是一直都有吗？通常情况下，聪明的解决方案是由 Robert Tarjan 想出的。 ，尽管还有其他巧妙的解决方案。但是，对于大多数语法，使用简单的解决方案通常速度差不多。

定义A directly-starts-with V关系，其中A是非终结符，V是任意符号； A directly-starts-with V 如果有产生式 A → V α。对于没有可空非终结符的文法，FIRST(A) 只是directly-starts-with 关系的传递闭包，范围仅限于终结符。 Tarjan 的算法(计算图形的强连通分量)为这个问题提供了快速而优雅的解决方案。

还有其他计算传递闭包的好算法。 Floyd-Warshall是另一个流行的选择。正如您可能猜到的那样，看一下 F-W，您可以将传递闭包简化为与矩阵乘法非常相似的东西；可用于降低矩阵乘法时间复杂度的相同技术也适用于传递闭包；然而，它们在现实世界中并不是特别有用。

可空的非终结符不会使情况变得非常复杂，只要您可以识别它们(这真的很容易)。您只需扩展 directly-starts-with 以包含 RHS 上仅以可空非终端开头的任何符号。识别可空非终端的常用算法几乎免费为您提供 directly-starts-with。