antlr - Antlr和PL/I语法

Question

现在，我们希望拥有基于Antlr4的PL / I，COBOL语法。有没有人提供这些语法
如果没有，可以请您分享一下从头开始开发这些语法的想法/经验
谢谢

Answer 1

我假设您的意思是IBM PL / I和COBOL。 （没有很多其他PL / I，但是我认为并不能真正改变答案）。

寻找成熟的ANTLR语法的明显地方是ANTLR3 grammar library；那里没有PL / 1或COBOL语法。 Antlr V4（ANTLR3的一个非常新的，根本的，向后不兼容的重新设计）主页讨论了Java和C＃。那里没有PL / 1或COBOL的提示；鉴于其新颖性，不足为奇。如果您真的很幸运，可能有人会给您并大声说出来。

出于以下几个原因，开发这样的语法很困难（基于个人经验，使用与ANTLR不同的非常强大的解析器系统为这两个特定项目构建生产质量的解析器，请参见我的简历）：


字符集和列布局规则（第1-5、6和72-80列是特殊的）可能是一个问题：您所描述的语言通常是用EBCDIC来写的，以前是打孔卡80列格式的，各行之间没有换行符。转换为ASCII有时会产生令人讨厌的毛刺。 ASCII换行符有时在COBOL文字字符串的中间以二进制值形式出现，但是由于它在EBCDIC和ASCII中具有相同的完全相同的代码，因此在翻译后，它（和）似乎是ASCII换行符断字。字符串也可以很长，但可以分成多行。但根据定义，第72-80列必须忽略。列6可能包含“ D”字符，这会影响以下源代码行的解释为“ debug”或“ not”。这意味着您需要正确处理80个色谱柱。我不知道ANTLR必须支持在列区域中处理字符。您还需要担心字符串文字的DBCS编码，以及如果源代码在非英语国家（例如日本）中使用的话，它的变体。
这些语言既庞大又复杂； IBM已经有40年的历史了。 IBM COBOL手册大约有600页...然后您发现COBOL还包括一个Report Writer，这是另一个600页的文档。捕获词汇标记和语法规则的所有细微差别将很费力，您必须从IBM手册中进行操作，这些手册不包含漂亮的BNF风格的描述，这意味着从文本描述和一些示例中进行猜测。对于COBOL，期望有几千个语法规则； PL / 1的抽象程度较轻。期望一定数量的“谎言”；我们已经在很多地方看到了参考文档明确指出某些事情是不合法的，但是IBM编译器（基于真实的，正在运行的源代码）接受了它们，反之亦然。您找到这些的唯一方法是通过经验实验。
两种语言都具有难以解析的构造，例如，要求任意超前和/或局部歧义。从我对ANTLR3的理解来看，ANTLR4比ANTLR3好得多，但这并不意味着这些方面会很容易。 PL / 1在这方面特别讨厌：它没有关键字，但是有数百个上下文关键字。要解决这些问题，必须让词法分析器和解析器进行协作，即使那样，可能仍然存在许多本地模棱两可的解析器。 ANTLR3做得不好。 ANTLR4应该更好，但我不知道它如何处理（如果有的话）。
为了验证这些解析器是正确的，您将需要在数百万行代码上运行它们（这意味着您必须有权访问此类代码示例），并更正发现的任何错误。这需要很长时间（在我们的案例中，要想在大型代码库上工作的生产质量语法，或多或少需要几年的连续工作/改进）。您可能会比这快得多。祝好运。
您需要为COBOL（COPY ... REPLACING）构建一个预处理器，该预处理器的详细信息很少记录，最后为PL / 1（我理解为具有完全的Turing功能）构建另一个预处理器。
构建解析器后，您需要捕获语法树。这里的ANTLR4应该很好，因为它将捕获您提供的语法中的一个。那可能不是您想要的AST；有数千种语法规则，我希望不会。 ANTLR3要求您手动添加在何处以及如何形成AST的指示。


获得AST之后，您将需要对其进行一些处理。这意味着您将至少需要构建符号表（从标识符实例到其声明的映射以及任何相关的类型信息）。 ANTLR除了支持步行AST之外，没有提供支持该AFAIK的特殊功能。这也很难解决，COBOL制定了疯狂的规则，即在没有其他冲突的解释的情况下，如何才能将不合格的标识符引用解释为特定的数据字段。 （如果您想获得有关程序的良好语义信息，那么“解析后的生活”还有很多其他内容；有关更多详细信息，请参见我的简历；对于每个语义方面，您都要进行开发，然后进行验证，然后再在大型代码库上运行它们再次。）。

TL; DR

无论您选择哪种解析引擎，为这些语言构建解析器（嗯，“前端”）都是很多工作。可能会解释为什么它们尚未进入ANTLR的语法动物园。