javascript - 使用基于正则表达式的简单Markdown解析器有什么弊端？

Question

我的应用程序需要一个相对简单的markdown解析器。只是一些简单的东西，例如粗体，斜体等。我正在寻找图书馆，其中许多图书馆似乎很大。例如，marked在20,000星中非常受欢迎。它接近2,000行代码。我什至不确定this one的大小，但是看起来很复杂。

通常，我会尽量保持简单，并尽可能限制我的依赖。我不确定这些行在做什么？我很高兴能找到甚至不到100行的this library，它只是使用一个简单的正则表达式将文本转换为其相应的markdown。

我的问题是，基本上其他那些库还在做什么？我是否选择使用更简单的，以正则表达式为重点的方法而错过了某些东西？后者的图书馆在某种程度上不安全吗？我是否应该考虑其他我不了解的因素？

显然，我似乎缺少一些重要的东西，因为前者似乎很受欢迎，而后者甚至没有一颗星。我只是不确定那是什么。我希望这种情况是，后者适合简单情况，如果您需要的话，前者更“完整”，但是我不想得出这个结论。

Answer 1

有很多因素导致Markdown解析器的复杂性。也就是说，您可以使用“基于简单正则表达式的”方法来构建Markdown解析器。实际上，这正是reference implementation使用的（在Perl中）。它运行一系列正则表达式，将现有文档中的Markdown语法替换为HTML语法。即使这样，源代码仍由1451行代码组成，包括注释，许可证等。当然，它包括对原始syntax rules中描述的全部功能列表的支持。这些功能包括对嵌套，转义等的支持，这使正则表达式的使用大大复杂化。

有些人发现这种实现方式受到限制。这完全取决于您想要的Markdown解析器。

例如，使用参考实现几乎不可能扩展语法。例如，Python-Markdown（我是开发人员）已经采用了参考实现，为每个正则表达式指定了名称，并为第三方扩展提供了一种在组合中替换或插入新正则表达式的方式。允许的样板代码增加了更多的代码行。顺便说一句，Markdown很老，多年来，诸如Python-Markdown之类的库已经发生了变化和增长。第一个版本非常类似于参考实现，但是今天您很难看到它们之间的任何相似之处。

其他人对扩展语法的兴趣不大，只是提供了一种控制输出的方法。例如，marked JS库输出一个抽象语法树（AST），然后可以将其传递给渲染器。渲染器接受AST（基本上是令牌列表）并输出其他格式。其他格式可以是HTML，也可以是其他格式。 Pandoc利用此优势在多种文档格式之间来回转换。自然，这会增加其他代码行。

另一个因素，无论是否实施，都是许多人认为，如果实施不支持规则中的所有功能，则不是Markdown。实际上，多年来，许多实现都添加了非标准功能（请参阅GitHub Flavored Markdown为例）。人们开始依赖这些非标准功能，并且会提交错误报告，抱怨实施不支持它们。作为Python-Markdown的开发人员，当lib实际上提供支持时，我会定期看到此类报告。只是默认情况下未启用它。当向他们指出这一点时，他们的反应往往不如理解。因此，如果不支持所有标准功能，那么一般消费的任何实现都不会持续很长时间。

增加了其他复杂性的是，实现之间在标准功能方面没有达成完美的协议。有关详细信息，请参见Babelmark 2 FAQ。在该常见问题解答中，您会发现许多已记录的差异，这些差异相当细微。人们确实发现这些微小差异很重要。因此，一群人创建了Commonmark，这是Markdown的严格规范。但是，由于Commonmark从未受到Markdown创造者的祝福，因此有人质疑它是否可以完全视为Markdown。此外，在某些地方，该规范本身也直接违反了原始规则。无论如何，要使实施成为Commonmark实施，必须提供具有规范所有已记录功能的完整解决方案。 reference implementations（在JS和C语言中）都很大。实际上，我怀疑您是否可以使用像markdown.pl这样使用基于简单rexed的替换的实现来实现Commonmark。

关键是，除了最简单的实现以外，您可以获得的不仅仅是正则表达式替换的集合。确切的功能因实现而异，因此需要仔细阅读每个功能的文档。无论如何，即使是“简单”的正则表达式替换集合，对于实现Markdown的所有已记录功能也相当复杂且冗长。任何少的东西都不会被认为是Markdown。

另一个考虑因素是性能。尽管基于regex的解析器对于大多数常规使用来说“足够好”（在为参考实现设计时从命令行运行），但性能更高的实现（例如标记或Commonmark参考实现）会生成AST并使用渲染器。 。基于正则表达式的实现永远无法与性能相提并论，如果您的Web服务器在每次请求时将Markdown转换为HTML，则这一点很重要。