java - 用 Java 构建词法分析器

Question

我目前正在学习编译器设计中的词法分析。为了了解词法分析器的真正工作原理，我正在尝试自己构建一个。我打算用 Java 构建它。

词法分析器的输入是一个 .tex 文件，其格式如下。

\begin{document}

    \chapter{Introduction}

    \section{Scope}

    Arbitrary text.

    \section{Relevance}

    Arbitrary text.

    \subsection{Advantages}

    Arbitrary text.

    \subsubsection{In Real life}

    \subsection{Disadvantages}

    \end{document}

词法分析器的输出应该是一个目录，可能包含另一个文件中的页码。

1. Introduction   1
  1.1 Scope         1 
  1.2 Relevance     2  
    1.2.1 Advantages  2
       1.2.1.1 In Real Life  2
     1.2.2 Disadvantages   3 

我希望这个问题在词法分析的范围内。

我的词法分析器将读取 .tex 文件并检查“\”，并在找到时继续读取以检查它是否确实是分段命令之一。设置标志变量来指示切片的类型。根据类型和深度，读取和写入切片命令后面的花括号中的单词，并带有数字前缀(例如 1.2.1)。

我希望上述方法适用于构建词法分析器。如果在词法分析器的范围内可能的话，我该如何将页码添加到目录中？

Answer 1

您确实可以以任何您想要的方式添加它们。我建议将 .tex 文件的内容存储在您自己的树状或 map 状结构中，然后读取页码文件，并适本地应用它们。

一个更古老的选择是编写第二个解析器来解析第一个解析器的输出和行号文件并适本地附加它们。

这真的取决于你。由于这是一个学习练习，请尝试像其他人使用它一样进行构建。它的用户友好性如何？制作只有您可以使用的东西仍然有利于概念学习，但如果您在现实世界中使用它，可能会导致困惑的实践!