python - 如何编写Python词法分析器？

Question

我正在尝试编写一个 C 模块来对 Python 代码进行词法分析。我该怎么做？

Answer 1

对 Python 代码进行词法分析的完整、详细规范是 here .

正如您所看到的，您需要处理很多情况。一个帮助是，您始终能够最轻松地检查 C 实现的词法分析器对于给定的 Python 片段是否正确:它将必须准确返回 Python 实现的模块 tokenize 的内容。 Python 的标准库中确实如此。

正如您在 tokenize 的 sources 中看到的那样，它有数百行 Python 代码，因此您可以轻松推断需要数千行 C 代码——绝对不是周末项目；-)

当然，作为起点，您可以 fork Python 自己的 Parser/tokenizer.c -- 不到 2000 行(对于它的作用来说太短了!)，但很大程度上是因为它依赖于 Python 运行时的相当多的其他部分(如果您的实现需要独立，那么您需要重现那些)。

如果您是一位非常有经验的程序员，对 Python 代码库有深入的了解，并且可以在醒着的所有时间里都在冲刺，那么您可能会在一周左右的时间内完成它。在正常情况下，我认为期望一个月的工作会有点乐观。你的截止日期是什么时候？