c# - 处理字节数组中的非 UTF-8 字符

Question

我有一个字节数组，其中包含一些不是 UTF-8 的字符。这些字符无法使用 UTF-8 编码进行反序列化。所以，我的问题是，如何处理这些字符并使字符串在任何语言下都可读。

例如，如果我有一个数组:

byte[] b = myArrayWithNonUTF8Characters;

然后我尝试反序列化数组:

DataContractJsonSerializer jsonSerializer = new DataContractJsonSerializer(typeof(MyObject));

MyObject objResponse = (MyObject)jsonSerializer.ReadObject(new MemoryStream(b));

然后我得到一个错误，该数组包含无效的 UTF8 字节。

有什么方法可以让它工作吗？

PS:请不要给我这个答案:string s = System.Text.Encoding.UTF8.GetString(b, 0, b.Length);它只会返回替换非 UTF-8 字符的符号。

Answer 1

UTF 的美妙之处在于它可以对大多数语言的字符进行编码；这样您就可以在同一个字符流中包含希腊语和日语。

如果没有 UTF，您的整个流(或者在您的情况下是一个数组)必须使用代码页定义的单一语言。每个字符都由一个 ASCII 字节表示，但实际字符由代码页确定(有关详细信息，请参阅 http://en.wikipedia.org/wiki/Code_page)。

例如，如果您的文本是用希腊语编写的，您可以使用代码页 111:

System.Text.Encoding.GetEncoding(111)

简而言之，您需要知道 ASCII 文本是用什么语言编写的。