python - 使用 Python3/mysqlclient 检索以 latin1 编码的数据时的字符编码问题

Question

从使用 latin1 编码的旧数据库检索数据时，我遇到了字符编码问题。当我尝试从数据库中检索 \x80 到 \x9f 范围内的字符时出现问题，这是 MySQL 的 之间的不同范围latin1(又名 Python 中的 windows-1252)和官方 latin1 (ISO-8859-1)。

这是我正在使用的堆栈:

• MySQL 数据库服务器版本 5.1，在列级别使用 latin1 编码，在表级别使用 latin1-swedish-ci 排序规则。
• 使用 Python3 和 mysqlclient 1.4.4 版的 Django 2.2 版。

例如，我试图从撇号编码为 \x92 的数据库中检索单词“Isn't”。

如果我不通过 Django 设置将字符集传递给 mysqlclient 连接，我会收到错误消息“'utf-8' 编解码器无法解码位置 5 中的字节 0x92:起始字节无效”。

如果我将 latin1 作为编解码器传递给连接，则没有错误，但该词在页面上呈现为“Isn t”，撇号应为空格。

当我打开一个单独的 python shell session 并尝试从 python 命令行连接时，结果是“Isn\x92t”。

>>> import MySQLdb
>>> conex = MySQLdb.connect(host=<host>,db=<db>, user=<user>, passwd=<passwd>, charset="latin1")
>>> cursor = conex.cursor()
>>> cursor.execute("select <field> from <table> where id=<id>")
1L
>>> cursor.fetchall()
((u'Isn\x92t',),)

从命令行进行调用时，是否包含字符集似乎没有任何区别。所以这个连接字符串

>>> conex = MySQLdb.connect(host=<host>,db=<db>, user=<user>, passwd=<passwd>, charset="latin1")

和这个连接字符串

>>> conex = MySQLdb.connect(host=<host>,db=<db>, user=<user>, passwd=<passwd>)

结果相同

有没有办法为能够正确处理 windows-1252 代码的 mysql 连接字符串设置选项？任何帮助将不胜感激。

========= 使用附加信息编辑 =========

感谢您的回复 Rick James。原始文本片段消失了，但我发现了另一个类似的失败的片段:Women's。

这是十六进制选择:

mysql> SELECT title, HEX(title) from <table> where id = <id>
| title | HEX(title)
| Women?s | 576F6D656E9273

我不确定将整个 create table 语句放在网上是否合适，但我认为以下是 SHOW CREATE TABLE 的重要部分。如果您正在寻找其他东西，请告诉我。

CREATE TABLE `tbl` (
  `title` varchar(255) DEFAULT NULL,
) ENGINE=MyISAM AUTO_INCREMENT=9460 DEFAULT CHARSET=latin1 

最后 SHOW VARIABLES LIKE 'char%'; 结果:

+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | latin1                     |
| character_set_connection | latin1                     |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | latin1                     |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |

将 Django 数据库设置文件中的字符集修改为 utf8mb4 会导致与设置为 utf8 时相同的 unicode 错误。

'OPTIONS': {
  'charset': 'utf8mb4',
  'use_unicode': True,
}

我仍然有点困惑，为什么使用带有 mysqlclient 的独立 python 环境的直接查询不起作用。这至少会排除任何 Django 问题。

Answer 1

这些字符集 cp1250、cp1251、cp1256、cp1257、geostd8、latin1 将 x92 视为 ’。

Django 的设置应该指定您要在客户端中使用的字符编码。这与数据库中的内容无关。所以问题变成了“哪里配置错误了。”

u 介绍符是错误的，因为 92 不是有效的 UTF-8。

• 列级别的 latin1 编码 -- 很好
• 数据中的 0x92 -- 通过 SELECT col, HEX(col) ... 验证； 不是应该说49736E9274。
• 如果你想在客户端使用UTF-8，Python源代码应该以# -*- coding: utf-8 -*-开头。

• Django 需要在客户端中使用 utf8mb4:

  DATABASES = {
      'default': {
          'ENGINE': 'django.db.backends.mysql',
          ...
          'OPTIONS': {
                      'charset': 'utf8mb4',
                      'use_unicode': True, },
      },
  }
  

如需更多帮助，请提供

SHOW CREATE TABLE ...;
SHOW VARIABLES LIKE 'char%';
the SELECT HEX mentioned above

进一步说明(在问题被大大扩展之后)

Woman?s -- 查看 Trouble with UTF-8 characters; what I see is not what I stored 中的问号-- 这可能是由于连接 (char%) 是 latin1，但客户端 (DJango) 说的是 utf8mb4。 char% 设置中的 3 个声明了客户端 用于编码的内容； DJango 设置与此相矛盾。改变一个或另一个。表格列不需要匹配它们；数据将根据需要进行转换。也就是说，即使 character_client/connection/results = utf8mb4，latin1 列中的 92 也是可以的。

对于这个问题，utf8 和 utf8mb4 将表现相同。