Java 1.6 Windows-1252 编码在 3 个字符上失败

Question

编辑:我确信这个问题有些荒谬。感谢那些回应的人。我可能会发布一个更具体的后续问题。

今天我解决了一些编码问题并编写了这个单元测试来隔离一个基本的重现案例:

int badCount = 0;
for (int i = 1; i < 255; i++) {
    String str = "Hi " + new String(new char[] { (char) i });

    String toLatin1  = new String(str.getBytes("UTF-8"), "latin1");
    assertEquals(str, new String(toLatin1.getBytes("latin1"), "UTF-8"));

    String toWin1252 = new String(str.getBytes("UTF-8"), "Windows-1252");
    String fromWin1252 = new String(toWin1252.getBytes("Windows-1252"), "UTF-8");

    if (!str.equals(fromWin1252)) {
        System.out.println("Can't encode: " + i + " - " + str + 
                           " - encodes as: " + fromWin1252);
        badCount++;
    }
}

System.out.println("Bad count: " + badCount);

输出:

    Can't encode: 129 - Hi ? - encodes as: Hi ??    Can't encode: 141 - Hi ? - encodes as: Hi ??    Can't encode: 143 - Hi ? - encodes as: Hi ??    Can't encode: 144 - Hi ? - encodes as: Hi ??    Can't encode: 157 - Hi ? - encodes as: Hi ??    Can't encode: 193 - Hi Á - encodes as: Hi ??    Can't encode: 205 - Hi Í - encodes as: Hi ??    Can't encode: 207 - Hi Ï - encodes as: Hi ??    Can't encode: 208 - Hi ? - encodes as: Hi ??    Can't encode: 221 - Hi ? - encodes as: Hi ??    Bad count: 10

Mac OS 10.6.2 上的 JDK 1.6.0_07

我的观察:

Latin1 对所有 254 个字符进行对称编码。 Windows-1252 没有。三个可打印字符(193、205、207)在 Latin1 和 Windows-1252 中是相同的代码，因此我预计不会有任何问题。

谁能解释这种行为？这是 JDK 错误吗？

-- 詹姆斯

Answer 1

在我看来，测试程序存在严重缺陷，因为它在没有语义意义的字符串之间进行了有效无用的转换。

如果你想检查所有字节值是否都是给定编码的有效值，那么像这样的东西可能更像它:

public static void tryEncoding(final String encoding) throws UnsupportedEncodingException {
    int badCount = 0;
    for (int i = 1; i < 255; i++) {
        byte[] bytes = new byte[] { (byte) i };

        String toString = new String(bytes, encoding);
        byte[] fromString = toString.getBytes(encoding);

        if (!Arrays.equals(bytes, fromString)) {
            System.out.println("Can't encode: " + i + " - in: " + Arrays.toString(bytes) + "/ out: "
                    + Arrays.toString(fromString) + " - result: " + toString);
            badCount++;
        }
    }

    System.out.println("Bad count: " + badCount);
}

请注意，此测试程序使用从 1 到 255 的(未签名的)字节值 测试输入。问题中的代码使用字符值(相当于 Unicode 代码点在此范围内)从 1 到 255。

尝试打印示例中程序处理的实际字节数组，您会发现实际上并没有检查所有字节值，并且您的一些“错误”匹配是其他匹配项的重复项。

以 "Windows-1252" 作为参数运行此命令会产生以下输出:

Can't encode: 129 - in: [-127]/ out: [63] - result: �Can't encode: 141 - in: [-115]/ out: [63] - result: �Can't encode: 143 - in: [-113]/ out: [63] - result: �Can't encode: 144 - in: [-112]/ out: [63] - result: �Can't encode: 157 - in: [-99]/ out: [63] - result: �Bad count: 5

这告诉我们 Windows-1252 不接受字节值 129、1441、143、144 和 157 作为有效值。 (注意:我在这里谈论的是无符号字节值。上面的代码显示 -127、-115，...因为 Java 只知道无符号字节)。

The Wikipedia article on Windows-1252似乎通过以下陈述来验证这一观察:

According to the information on Microsoft's and the Unicode Consortium's websites, positions 81, 8D, 8F, 90, and 9D are unused