java - 如何判断我从网络接收的文本/从文件读取的文本是否使用给定的编码？

Question

我有一个文件，或者我从一个套接字读取；我读取的数据应该是使用给定字符编码进行编码的文本。

但是即使我指定了一个编码，最后证明是错误的，操作还是成功了；而不是任何类型的异常，我在我的文本中得到了很多 � :/

有没有办法触发失败？

Answer 1

是的。

首先，一些信息:那个讨厌的 � 字符到底是什么？嗯，是Unicode's "replacement character", code point U+FFFD .

现在，你为什么会得到这个？为了解释这一点，我们需要更深入地研究发生的事情......

首先，一个“正式”的定义:字符编码是一个定义字节流和字符流之间的双射的过程；因为它是双射，所以意味着定义了两个操作:编码(将字符流转换为字节流)和解码(将字节流转换为字符流)。

在 Java 中，字符编码包含在 Charset 中。 ;您可以使用 Charset.newEncoder() 获得编码器, 以及使用 Charset.newDecoder() 的解码器.

当然，在解码过程中，也就是这里感兴趣的地方，可能会发生某些字节序列被证明是格式错误的情况，在这种情况下，CharsetDecoder 必须决定什么做...而这种行为取决于CodingErrorAction ，它具有三个值:

• REPLACE(默认!!):用 Unicode 的替换字符替换任何不可映射的序列!
• IGNORE:丢弃所有不可映射的序列，不输出任何东西；
• REPORT:在无法映射的序列上抛出异常...

现在，为了检测格式错误的输入并抛出错误，我们需要REPORT它们!

那么，在给定 InputStream 的情况下，我们如何做到这一点？解决方案是使用 InputStreamReader； it has a constructor allowing you to specify a CharsetDecoder as an argument .您所要做的就是创建您的解码器!

例如，如果你想确保正确的 UTF-8，你可以这样做:

final CharsetDecoder decoder = StandardCharsets.UTF_8
    .newDecoder().onMalformedInput(CodingErrorAction.REPORT);

try (
    final InputStreamReader reader = new InputStreamReader(in, decoder);
) {
    // read from the reader here
}

此处要捕获的异常是 CharacterCodingException .请注意，它继承了 IOException，因此您需要:

try (
    ...
) {
    ...
} catch (CharacterCodingException e) {
    ...
} catch (IOException e) {
    ...
}