gpt4 book ai didi

来自文件的 Antlr token

转载 作者:行者123 更新时间:2023-12-04 21:22:47 25 4
gpt4 key购买 nike

为 Antlr 提供大量代币的最佳方式是什么?
假设我们有一个包含 100,000 个英语动词的列表,我们如何将它们添加到我们的语法中?我们可能会包含一个像verbs.g这样的巨大语法文件,但也许有更优雅的方法,通过修改.token文件等?

grammar verbs;

VERBS:
'eat' |
'drink' |
'sit' |
...
...
| 'sleep'
;

token 也应该是词法分析器或解析器 token ,即 VERBS: 或 verbs: ?大概动词:。

最佳答案

我宁愿使用语义谓词。

为此,您必须定义一个 token

word : [a-z]+

并且在您想要使用动词(而不是通用词)的每个站点上放置一个语义谓词,以检查解析的词是否在动词列表中。

使用建议不要将解析器/词法分析器用于此类任务
  • 每个额外的动词都会改变语法
  • 每个额外的动词都会放大生成的代码
  • 共轭更容易
  • 可以更轻松地处理大写/小写字母
  • 关于来自文件的 Antlr token ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9204332/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com