- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
因此,我使用匹配器类并使用它来识别我在枚举中定义的标记。
public static enum TokenType {
// Definitions of accepted tokens
IF("if"), WHILE("while"), PRINT("print"), TYPE("int|string|boolean"), BOOLOP("==|!="), BOOLVAL("false|true"), INTOP("[+]"), CHAR("[a-z]"), DIGIT("[0-9]"), WHITESPACE("[ \t\f\r\n]+"), LPAREN("[(]"), RPAREN("[)]");
public final String pattern;
private TokenType(String pattern) {
this.pattern = pattern;
}
}
public static class Token {
public TokenType type;
public String data;
我的问题是,我还需要识别模式中未定义的任何内容,并在发生这种情况时打印错误。
这就是我的匹配器逻辑
// Begin matching tokens
Matcher matcher = tokenPatterns.matcher(input);
while (matcher.find()) {
if (matcher.group(TokenType.DIGIT.name()) != null) {
tokens.add(new Token(TokenType.DIGIT, matcher.group(TokenType.DIGIT.name())));
continue;
} else if (matcher.group(TokenType.IF.name()) != null) {
tokens.add(new Token(TokenType.IF, matcher.group(TokenType.IF.name())));
continue;
} else if (matcher.group(TokenType.WHILE.name()) != null) {
tokens.add(new Token(TokenType.WHILE, matcher.group(TokenType.WHILE.name())));
continue;
} else if (matcher.group(TokenType.TYPE.name()) != null) {
tokens.add(new Token(TokenType.TYPE, matcher.group(TokenType.TYPE.name())));
continue;
} else if (matcher.group(TokenType.PRINT.name()) != null) {
tokens.add(new Token(TokenType.PRINT, matcher.group(TokenType.PRINT.name())));
continue;
} else if (matcher.group(TokenType.BOOLOP.name()) != null) {
tokens.add(new Token(TokenType.BOOLOP, matcher.group(TokenType.BOOLOP.name())));
continue;
} else if (matcher.group(TokenType.BOOLVAL.name()) != null) {
tokens.add(new Token(TokenType.BOOLVAL, matcher.group(TokenType.BOOLVAL.name())));
continue;
} else if (matcher.group(TokenType.INTOP.name()) != null) {
tokens.add(new Token(TokenType.INTOP, matcher.group(TokenType.INTOP.name())));
continue;
} else if (matcher.group(TokenType.CHAR.name()) != null) {
tokens.add(new Token(TokenType.CHAR, matcher.group(TokenType.CHAR.name())));
continue;
} else if (matcher.group(TokenType.LPAREN.name()) != null) {
tokens.add(new Token(TokenType.LPAREN, matcher.group(TokenType.LPAREN.name())));
continue;
} else if (matcher.group(TokenType.RPAREN.name()) != null) {
tokens.add(new Token(TokenType.RPAREN, matcher.group(TokenType.RPAREN.name())));
continue;
} else if (matcher.group(TokenType.WHITESPACE.name()) != null) {
continue;
}
}
return tokens;
}
一个可能的解决方案是在我的模式中添加一个案例,该案例解释了尚未定义的所有内容,看起来像这样 WHITESPACE("[\t\f\r\n]+"), LPAREN ("[(]"), ERROR("@|#,$,%,^,&.....") 但我不确定是否有任何现实的方法来实现这一点。
感谢您的帮助。这是完整代码的链接,以防我遗漏任何内容 - https://pastebin.com/jLtnJwgj
最佳答案
你尝试过这样的事情吗?
public class Lexer {
public static enum TokenType {
// Definitions of accepted tokens
IF("if"),
WHILE("while"),
PRINT("print"),
TYPE("int|string|boolean"),
BOOLOP("==|!="),
BOOLVAL("false|true"),
INTOP("[+]"),
CHAR("[a-z]"),
DIGIT("[0-9]"),
WHITESPACE("[ \t\f\r\n]+"),
LPAREN("[(]"),
RPAREN("[)]"),
OTHER(".");
public final String pattern;
private TokenType(final String pattern) {
this.pattern = pattern;
}
}
public static class Token {
public TokenType type;
public String data;
public Token(final TokenType type, final String data) {
this.type = type;
this.data = data;
}
}
public static ArrayList<Token> lex(final String input) {
// The tokens to return
final ArrayList<Token> tokens = new ArrayList<Token>();
// allows us to work with a mutable string
final StringBuffer tokenPatternsBuffer = new StringBuffer();
for (final TokenType tokenType : TokenType.values()) {
tokenPatternsBuffer.append(String.format("|(?<%s>%s)",
tokenType.name(), tokenType.pattern));
}
final Pattern tokenPatterns = Pattern.compile(
new String(tokenPatternsBuffer.substring(1)));
// Begin matching tokens
String other = "";
final Matcher matcher = tokenPatterns.matcher(input);
while (matcher.find()) {
if (matcher.group(TokenType.DIGIT.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.DIGIT,
matcher.group(TokenType.DIGIT.name())));
continue;
} else if (matcher.group(TokenType.IF.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.IF,
matcher.group(TokenType.IF.name())));
continue;
} else if (matcher.group(TokenType.WHILE.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.WHILE,
matcher.group(TokenType.WHILE.name())));
continue;
} else if (matcher.group(TokenType.TYPE.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.TYPE,
matcher.group(TokenType.TYPE.name())));
continue;
} else if (matcher.group(TokenType.PRINT.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.PRINT,
matcher.group(TokenType.PRINT.name())));
continue;
} else if (matcher.group(TokenType.BOOLOP.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.BOOLOP,
matcher.group(TokenType.BOOLOP.name())));
continue;
} else if (matcher.group(TokenType.BOOLVAL.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.BOOLVAL,
matcher.group(TokenType.BOOLVAL.name())));
continue;
} else if (matcher.group(TokenType.INTOP.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.INTOP,
matcher.group(TokenType.INTOP.name())));
continue;
} else if (matcher.group(TokenType.CHAR.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.CHAR,
matcher.group(TokenType.CHAR.name())));
continue;
} else if (matcher.group(TokenType.LPAREN.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.LPAREN,
matcher.group(TokenType.LPAREN.name())));
continue;
} else if (matcher.group(TokenType.RPAREN.name()) != null) {
other = unknow(tokens, other);
tokens.add(new Token(TokenType.RPAREN,
matcher.group(TokenType.RPAREN.name())));
continue;
} else if (matcher.group(TokenType.WHITESPACE.name()) != null) {
continue;
} else if (matcher.group(TokenType.OTHER.name()) != null) {
other += matcher.group(TokenType.OTHER.name());
continue;
}
}
other = unknow(tokens, other);
return tokens;
}
private static String unknow(final ArrayList<Token> tokens, final String _unknow) {
if (!_unknow.isEmpty()) {
tokens.add(new Token(TokenType.OTHER,_unknow));
}
return "";
}
public static void main(final String[] args) {
final String input = "if\nprint\nta!?!?!taelse?§.?toto";
// Create tokens and print them
final ArrayList<Token> tokens = lex(input);
for (final Token token : tokens)
System.out.println("DEBUG Lexer - " + token.type + " [ "
+ token.data + " ] " + "found at " + "linenumber");
}
}
关于java - 如何识别与模式不匹配的数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54481302/
对此感到疯狂,真的缺少一些东西。 我有webpack 4.6.0,webpack-cli ^ 2.1.2,所以是最新的。 在文档(https://webpack.js.org/concepts/mod
object Host "os.google.com" { import "windows" address = "linux.google.com" groups = ["linux"] } obj
每当我安装我的应用程序时,我都可以将数据库从 Assets 文件夹复制到 /data/data/packagename/databases/ .到此为止,应用程序工作得很好。 但 10 或 15 秒后
我在 cc 模式缓冲区中使用 hideshow.el 来折叠我不查看的文件部分。 如果能够在 XML 文档中做到这一点就好了。我使用 emacs 22.2.1 和内置的 sgml-mode 进行 xm
已结束。此问题不符合 Stack Overflow guidelines .它目前不接受答案。 我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题,以便用事实和引用来回答它。 关闭
根据java: public Scanner useDelimiter(String pattern) Sets this scanner's delimiting pattern to a patt
我读过一些关于 PRG 模式以及它如何防止用户重新提交表单的文章。比如this post有一张不错的图: 我能理解为什么在收到 2xx 后用户刷新页面时不会发生表单提交。但我仍然想知道: (1) 如果
看看下面的图片,您可能会清楚地看到这一点。 那么如何在带有其他一些 View 的简单屏幕中实现没有任何弹出/对话框/模式的微调器日期选择器? 我在整个网络上进行了谷歌搜索,但没有找到与之相关的任何合适
我不知道该怎么做,我一直遇到问题。 以下是代码: rows = int(input()) for i in range(1,rows): for j in range(1,i+1):
我想为重写创建一个正则表达式。 将所有请求重写为 index.php(不需要匹配),它不是以/api 开头,或者不是以('.html',或'.js'或'.css'或'.png'结束) 我的例子还是这样
MVC模式代表 Model-View-Controller(模型-视图-控制器) 模式 MVC模式用于应用程序的分层开发 Model(模型) - 模型代表一个存取数据的对象或 JAVA PO
我想为组织模式创建一个 RDF 模式世界。您可能知道,组织模式文档基于层次结构大纲,其中标题是主要的分组实体。 * March auxiliary :PROPERTIES: :HLEVEL: 1 :E
我正在编写一个可以从文件中读取 JSON 数据的软件。该文件包含“person”——一个值为对象数组的对象。我打算使用 JSON 模式验证库来验证内容,而不是自己编写代码。符合代表以下数据的 JSON
假设我有 4 张 table 人 公司 团体 和 账单 现在bills/persons和bills/companys和bills/groups之间是多对多的关系。 我看到了 4 种可能的 sql 模式
假设您有这样的文档: doc1: id:1 text: ... references: Journal1, 2013, pag 123 references: Journal2, 2014,
我有这个架构。它检查评论,目前工作正常。 var schema = { id: '', type: 'object', additionalProperties: false, pro
这可能很简单,但有人可以解释为什么以下模式匹配不明智吗?它说其他规则,例如1, 0, _ 永远不会匹配。 let matchTest(n : int) = let ran = new Rand
我有以下选择序列作为 XML 模式的一部分。理想情况下,我想要一个序列: 来自 my:namespace 的元素必须严格解析。 来自任何其他命名空间的元素,不包括 ##targetNamespace和
我希望编写一个 json 模式来涵盖这个(简化的)示例 { "errorMessage": "", "nbRunningQueries": 0, "isError": Fals
首先,我是 f# 的新手,所以也许答案很明显,但我没有看到。所以我有一些带有 id 和值的元组。我知道我正在寻找的 id,我想从我传入的三个元组中选择正确的元组。我打算用两个 match 语句来做到这
我是一名优秀的程序员,十分优秀!