java - 在 Java 中标记源代码

Question

对于系统软件开发类(class)，我正在为教师发明的汇编语言开发一个完整的汇编程序。目前我正在研究分词器。在进行一些搜索时，我遇到了 Java StringTokenizer 类...但我发现它基本上已被弃用。然而，它似乎比使用正则表达式的 String.split 方法更容易使用。

有什么理由我应该避免使用它吗？在典型的 Java 库中是否有其他我不知道的东西可以很好地适合这项任务？

编辑:提供更多细节。

我认为 String.split 复杂的原因是我对正则表达式的了解大致就是我对它们的了解。虽然了解它们有助于我作为软件开发人员的常识，但我不确定我现在是否愿意投入时间，尤其是在有更简单的替代方案的情况下。

就我对分词器的使用而言:它将遍历一个包含汇编代码的文本文件并将其分解为分词，将文本和分词类型传递给解析器。定界符包括空格(空格、制表符、换行符)、注释开始字符“|” (它可以单独出现在一行中，也可以出现在其他文本之后)，以及用于分隔指令中操作数的逗号。

我会用更数学的方式来写，但我对形式语言的了解有点生疏。

编辑 2:更清楚地提问

我看过有关 StringTokenizer 类的文档。它很适合我的目的，但不鼓励使用它。除了 String.split 之外，标准 Java 库中还有什么有用的东西吗？

Answer 1

我相信 java.util.Scanner 类已经取代了 StringTokenizer。 Scanner 让你一次处理一个标记，而 String.split() 将拆分整个字符串(如果你正在解析源代码文件，它可能很大)。使用 Scanner，您可以检查每个 token ，决定采取什么操作，然后丢弃该 token 。