c# - 从 UTF-8 转换为 ISO-8859-15 时，哪些双引号字符会自动替换？

Question

我有一个 UTF-8 编码的输入文件。我需要使用它的一些内容并从中创建一个 ISO-8859-15 编码的 CSV 文件。

问题是 UTF-8 似乎有几个双引号字符，在将 CSV 文件写入光盘时会自动替换为字符 " (= Quotation Mark U+0022)。

我们找到的是:

• Left Double Quotation Mark U+201C
• Right Double Quotation Mark U+201D
• Double Low-9 Quotation Mark U+201E
• Modifier Letter Double Prime U+02BA
• Combining Double Vertical Line Above U+030E
• Fullwidth Quotation Mark U+FF02

当我像这样写入 CSV 文件时，转换会自动发生:

using (StreamWriter sw = new StreamWriter(workDir + "/files/vehicles.csv", append: false, encoding: Encoding.GetEncoding("ISO-8859-15")))
{
    foreach (ad vehicle in vehicles)
    {
        sw.WriteLine(convertVehicleToCsv(vehicle));
    }
}

convertVehicleToCsv方法对数据的双引号等特殊字符进行转义，但不对特殊的UTF-8双引号字符进行转义。现在双引号被自动替换，CSV 不再是 RFC-4180符合并因此腐败。使用我们的 CSV 库读取失败。

那么问题是:

在转换为 ISO-8859-15 时，还有哪些其他 UTF-8 字符会自动替换/转换为“普通”" 字符？这是否记录在某处？或者我在这里做错了什么？

Answer 1

为了回答您的问题，这里是 .NET 在使用 StreamWriter 时映射到 U+0022(您称为“普通双引号”符号)的 Unicode 代码点列表正如你所做的那样:

• U+0022
• U+02BA
• U+030E
• U+201C
• U+201D
• U+201E
• U+FF02

使用 this answer ，我很快写了一些东西，它创建了 UTF-8 到 ISO-8859-15 (Latin-9) 的反向映射。

Encoding utf8 = Encoding.UTF8;
Encoding latin9 = Encoding.GetEncoding("ISO-8859-15");
Encoding iso = Encoding.GetEncoding(1252);

var map = new Dictionary<string, List<string>>();

// same code to get each line from the file as per the linked answer

while (true)
{
    string line = reader.ReadLine();
    if (line == null) break;
    string codePointHexAsString = line.Substring(0, line.IndexOf(";"));
    int codePoint = Convert.ToInt32(codePointHexAsString, 16);

    // skip Unicode surrogate area
    if (codePoint >= 0xD800 && codePoint <= 0xDFFF)
        continue;

    string utf16String = char.ConvertFromUtf32(codePoint);
    byte[] utf8Bytes = utf8.GetBytes(utf16String);
    byte[] latin9Bytes = Encoding.Convert(utf8, latin9, utf8Bytes);
    string latin9String = latin9.GetString(latin9Bytes);
    byte[] isoBytes = Encoding.Convert(utf8, iso, utf8Bytes);
    string isoString = iso.GetString(isoBytes); // this is not always the same as latin9String!

   string latin9HexAsString = latin9[0].ToString("X");

    if (!map.ContainsKey(latin9HexAsString))
    {
        isoMap[latin9HexAsString] = new List<string>();
    }
    isoMap[latin9HexAsString].Add(codePointHexAsString);
}

有趣的是，ISO-8859-15 似乎比 ISO-8859-1 替换了更多的字符，这是我没有想到的。