java - StreamTokenizer - 如何将每个字符拆分为标记

Question

简而言之:如何更改 StreamTokenizer，以便它将输入文件中的每个字符拆分为标记。

例如，如果我有以下输入:

1023021023584

如何读取它以便将每个单独的字符保存到数组的特定索引中？

Answer 1

要从文件中单独读取字符作为“标记”，请使用Reader:

try (BufferedReader in = Files.newBufferedReader(Paths.get("test.txt"))) {
    for (int charOrEOF; (charOrEOF = in.read()) != -1; ) {
        String token = String.valueOf((char) charOrEOF);
        // Use token here
    }
}

完全支持补充平面中的 Unicode 字符，例如表情符号，我们需要读取代理对:

try (BufferedReader in = Files.newBufferedReader(Paths.get("test.txt"))) {
    for (int char1, char2; (char1 = in.read()) != -1; ) {
        String token = (Character.isHighSurrogate​((char) char1) && (char2 = in.read()) != -1)
                      ? String.valueOf(new char[] { (char) char1, (char) char2 })
                      : String.valueOf((char) char1));
        // Use token here
    }
}