character-encoding - 垃圾字符列表，如’

Question

我正在使用librets从我的RETS服务器检索数据。某种程度上，librets编码方法不起作用，并且我在输出中收到一些奇怪的字符。我注意到像“’”这样的字符被替换为“—。我无法找到针对libret的修复程序，因此我决定在下载数据后用实际值替换此类垃圾字符。我需要的是这样的垃圾字符串及其等效字符的列表。我用谷歌搜索，但没有找到任何资源。谁能指出我这些垃圾信件及其实际值的列表，还是可以生成此类垃圾信件的一段代码。

谢谢

Answer 1

搜索术语"UTF-8"，因为这就是您所看到的。

UTF-8是将Unicode字符表示为字节序列的一种方式。 (“Unicode字符”是人类语言中全部使用的字母和符号的全部范围。)通常，一个Unicode字符在UTF-8中变成1、2或3个字节。当使用Windows通常使用的字符集显示这些字节(从0到255的数字)时，它们显示为“垃圾”-在这种情况下为3个“垃圾字母”，它们实际上是UTF-8编码的3个字节。

在您的示例中，您从智能引号字符’开始。它以Unicode表示为数字 8217 或U + 2019(2019是8217的十六进制)。 (搜索"Unicode"以获取Unicode字符及其数字的完整列表。)数字8217的UTF-8表示形式是三字节序列 226 ， 128 ， 153 。当您使用Windows“CP-1252”字符编码(在美国Windows上显示文本的常规方式)将这三个字节显示为字符时，它们将显示为’。 (搜索"CP-1252"以查看字节和字符的表。)

我没有适合您的 list 。但是，如果您使用一种内置支持Unicode和UTF-8的语言编写程序，那么您可能会做一个。我所能做的就是解释您所看到的。

如果有一种方法可以告诉libret在下载时使用UTF-8，则可能会自动解决您的问题。我对librets一无所知，但是现在您知道“UTF-8”一词，您也许可以取得进步。