java - Java 中处理空格和撇号的分词器

Question

我想知道Java中是否有任何方法可以通过空格标记字符串，但是如果撇号之间有一些单词，请将其视为“一个单词”...

例如，如果我有:

This "is a great" day

字符串标记器应该具有:

• “这个”
• “太棒了”
• “日”

谢谢!

Answer 1

使用String.split()和正则表达式，而不是StringTokenizer，怎么样:

    String input = "this \"is a great\" day";

    for (String  word: input.split("(?<=\").+(?=\")|\\b\\w+\\b"))
    {
        System.out.println("["+word+"]");
    }

输出:

[this]
[is a great]
[day]

根据您的示例，我假设您的意思是双引号 (") 而不是撇号 (')。

注意:我最初发布了一些更简单的内容，它适用于您的示例，但不适用于如下输入:

" yes this \"is a great\" day all right"