java - JIS X 0208 转换 : how to handle unified (merged) codepoints

Question

我正在尝试将 Java 字符转换为 JIS X 0208“x-JIS0208”编码(或任何兼容的编码，例如 EUC-JP，但不是 Shift-JIS)，但我希望正确处理统一(合并)的代码点.

例如，高被分配给 this JISX0208 chart 中的第 25 行第 66 列，和一个看起来相似的字符髙，虽然被分类为未分配的代码点，但与前者合并。我引用维基百科:“[ ] (高) 形式和不太常见的梯状结构 (髙) 都包含在相同的代码点中”。

我在下面的代码中尝试了这一点，无论我尝试什么编码，我总是会遇到异常或未分配的字符占位符 ? (ASCII 或全角)。

有没有办法，也许是不同的结尾或完全不同的转换方式，所以这两个字符返回相同的代码点？或者，是否有一个 API 可以查找此类字符，以便我可以在转换之前合并它们？

static Charset      charset1    = Charset.forName("x-JIS0208");
static Charset      charset2    = Charset.forName("EUC-JP");
static Charset[]    charsets    = {charset1, charset2};

static CharBuffer   in          = CharBuffer.allocate(1);

public static void main(String[] args) throws Exception
{
    CharsetEncoder[] encoders = new CharsetEncoder[charsets.length];
    for (int i = 0; i < charsets.length; i++)
        encoders[i] = charsets[i].newEncoder();

    char[] testChars = {'　', 'Ａ', '？', '亜', '唖', '蔭', '高', '髙'};

    for (char ch : testChars)
    {
        System.out.print("'" + ch + "'\t(" + Integer.toHexString(ch) + ")\t=");

        for (int i = 0; i < charsets.length; i++)
        {
            System.out.print("\t" + interpret(encode1(encoders[i], ch)));
            System.out.print("\t" + interpret(encode2(charsets[i], ch)));
        }
        System.out.println();
    }
}

private static String interpret(int i)
{
    if (i == -1)
        return "excepti";
    if (i < 0x80)
        return "'" + (char)i + "'";
    return Integer.toHexString(i);
}

private static int encode1(CharsetEncoder encoder, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    try
    {
        ByteBuffer out = encoder.encode(in);

        if (out.limit() == 1)
            return out.get(0) & 0xFF;
        return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
    }
    catch (CharacterCodingException e)
    {
        return -1;
    }
}

private static int encode2(Charset charset, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    ByteBuffer out = charset.encode(in);

    if (out.limit() == 1)
        return out.get(0) & 0xFF;
    return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
}

输出:

'　' (3000)  =   2121    2121    a1a1    a1a1
'Ａ' (ff21)  =   2341    2341    a3c1    a3c1
'？' (ff1f)  =   2129    2129    a1a9    a1a9
'亜' (4e9c)  =   3021    3021    b0a1    b0a1
'唖' (5516)  =   3022    3022    b0a2    b0a2
'蔭' (852d)  =   307e    307e    b0fe    b0fe
'高' (9ad8)  =   3962    3962    b9e2    b9e2
'髙' (9ad9)  =   excepti 2129    excepti '?'

注意:我只对转换单个字符感兴趣，很多字符，而不是字符串或流，所以我实际上更喜欢一种不同的方法(如果存在)，它不会在每次转换时分配 ByteBuffer。

Answer 1

髙不包含在 JIS X 0208 中，但包含在 Microsoft Windows 代码页 932 (MS932) 中。这是 Shift JIS 编码的变体，并且是 JIS X 0208 字符集的超集。您应该为 MS932 使用名称“Windows-31j”，例如:

Charset.forName("Windows-31j");

而不是Charset.forName("x-JIS0208");。

编辑

一些字符如𨦇和铗(剪刀)的映射表是由日本政府分发的，如National Tax Agency (参见JIS缩退マップ(Ver.1.0.0))。但这些映射表不包含字符髙。我认为这是因为髙不包含在JIS X 0208和JIS X 0213中。

所以，我认为你必须手动将 髙 替换为 高 (使用 String#replaceAll())，或者自己制作使用 CharsetProvider 自定义 Charset。