java - 来自 MYSQL DB 查询的编码字符串在 Java 中被破坏

Question

来自 MYSQL DB 查询的编码字符串在 Java 中被破坏

我使用 Java 连接到 MYSQL 数据库，我在其中查询表以收集信息它的一个字段。

该字段具有 UTF8 编码的文本，即:

Córas Éireann

上面的文字是我登录MYSQL控制台看到的，看看表中的那一行。部署的mysql版本为: mysql Ver 14.14 Distrib 5.1.52，用于使用 readline 5.1 的 unknown-linux-gnu (x86_64)

如果我用python程序连接同一个数据库，查询同一个数据库表并得到同一行，文本看起来是正确的，即它以 Córas Éireann 的形式出现

但是，当我通过 Java 查询它时，文本显示为:

Córas Éireann

我怀疑是西方的(ISO latin1)，但我不确定，只是猜测。

我做了一个show table status，看到我正在查询的表有Collat​​ionutf8_general_ci 的

我正在查询的表没有任何额外的编码定义，字段名称是一个 varchar(512)。

+--------------------+--------------+------+-----+---------+----------------+
| Field              | Type         | Null | Key | Default | Extra          |
+--------------------+--------------+------+-----+---------+----------------+
| id                 | int(11)      | NO   | PRI | NULL    | auto_increment |
| name               | varchar(512) | YES  |     | NULL    |                |

我导入的SQL connect JAR是mysql-connector-java-5.1.36，我也试过v5.1.34 和 5.0.8 但没有区别。

这是我连接到数据库的方式:

    String dbStr =
    String.format("jdbc:mysql://%s:%d/%s?useUnicode=yes&characterEncoding=UTF-8", LOCAL_MYSQL_HOST,
                                       LOCAL_MYSQL_PORT, LOCAL_MYSQL_DB);
    try {
        cdb = DriverManager.getConnection(dbStr, LOCAL_MYSQL_USER, LOCAL_MYSQL_PASS);
        Statement dbStatement = cdb.createStatement();
        String query = String.format("SELECT name FROM customer WHERE id=%d",customerId);
        ResultSet row = dbStatement.executeQuery(query);
        if (row.first()) {
             System.out.println("name is " + row.getString("name");
        }
    } catch (SQLException exc) {
        exc.printStackTrace();
    }

请注意，我的原始实现不包含

?useUnicode=yes&characterEncoding=UTF-8

但添加它并没有使它变得更好或更糟。我添加它是因为我认为这可能是罪魁祸首。我还尝试了 latin1 而不是 utf-8 来查看这是否差异但没有运气，结果完全相同，即结果为Córas Éireann。

我什至尝试过这样的事情:

                byte[] rowBytes = row.getBytes("name");
                String utfdecocedStr = new String(rowBytes, "UTF-8");
                System.out.println(utfdecocedStr);

但输出仍然是 Córas Éireann

在python中，我不做任何解码/编码，查询和连接都是基本的，我得到了正确的字符串。我是否缺少需要的步骤要在 DB 或 Java 端完成才能让它工作？在 my.conf 中，我没有有任何设置来设置任何编码配置。

Python 方法:

  import MySQLdb
  cdb = MySQLdb.connect(host=LOCAL_MYSQL_HOST,port=LOCAL_MYSQL_PORT,
                         user=LOCAL_MYSQL_USER,
                         passwd=LOCAL_MYSQL_PASS,db=LOCAL_MYSQL_DB)
  ccursor = self.cdb.cursor()
  query = """SELECT name FROM customer WHERE id='%d' """%(customer_id)
  row = ccursor.execute(query)
  if row:
      customername = ccursor.fetchone()

谢谢...阿姆罗

--------更新20150811----------------

我在数据库上运行了以下命令，发现以下配置可能解释了我所看到的行为:

show variables like 'character%';
+--------------------------+---------------------------------------------+
| Variable_name            | Value                                       |
+--------------------------+---------------------------------------------+
| character_set_client     | utf8                                        |
| character_set_connection | utf8                                        | 
| character_set_database   | latin1                                      |
| character_set_filesystem | binary                                      |
| character_set_results    | utf8                                        |
| character_set_server     | latin1                                      |
| character_set_system     | utf8                                        |
| character_sets_dir       | /usr/share/percona-xtradb-cluster/charsets/ |
+--------------------------+---------------------------------------------+
8 rows in set (0.00 sec)

mysql> show variables like 'collation%';
+----------------------+-------------------+
| Variable_name        | Value             |
+----------------------+-------------------+
| collation_connection | utf8_general_ci   |
| collation_database   | latin1_swedish_ci |
| collation_server     | latin1_swedish_ci |
+----------------------+-------------------+
3 rows in set (0.00 sec)

通过将以下内容添加到 my.cnf 中:

character-set-server = utf8
character-set-filesystem = utf8

然后表格演变为:

mysql> 显示像 'character%' 这样的变量；

+--------------------------+---------------------------------------------+
| Variable_name            | Value                                       |
+--------------------------+---------------------------------------------+
| character_set_client     | utf8                                        |
| character_set_connection | utf8                                        |
| character_set_database   | latin1                                      |
| character_set_filesystem | utf8                                        |
| character_set_results    | utf8                                        |
| character_set_server     | utf8                                        |
| character_set_system     | utf8                                        |
| character_sets_dir       | /usr/share/percona-xtradb-cluster/charsets/ |
+--------------------------+---------------------------------------------+


+----------------------+-------------------+
| Variable_name        | Value             |
+----------------------+-------------------+
| collation_connection | utf8_general_ci   |
| collation_database   | latin1_swedish_ci |
| collation_server     | utf8_general_ci   |
+----------------------+-------------------+

所以我在数据库控制台上发出了命令:

 ALTER DATABASE <dbname> CHARACTER SET utf8;

显示像'character%'这样的变量；

+--------------------------+---------------------------------------------+
| Variable_name            | Value                                       |
+--------------------------+---------------------------------------------+
| character_set_client     | utf8                                        |
| character_set_connection | utf8                                        |
| character_set_database   | utf8                                        |
| character_set_filesystem | utf8                                        |
| character_set_results    | utf8                                        |
| character_set_server     | utf8                                        |
| character_set_system     | utf8                                        |
| character_sets_dir       | /usr/share/percona-xtradb-cluster/charsets/ |
+--------------------------+---------------------------------------------+
8 rows in set (0.00 sec)

mysql> show variables like 'collation%';
+----------------------+-----------------+
| Variable_name        | Value           |
+----------------------+-----------------+
| collation_connection | utf8_general_ci |
| collation_database   | utf8_general_ci |
| collation_server     | utf8_general_ci |
+----------------------+-----------------+

不幸的是，这仍然没有解决问题。

有人可以告诉我如何在不清除数据库的情况下更正这个问题吗？

Answer 1

首先，我意识到我使用的表具有 UTF-8 编码，但输入其中的源表是 latin1，这证实了我对编码的怀疑。

编写将数据从一个数据复制到另一个代码的人没有进行编码转换，所以我觉得到那时数据已经损坏了编码。

我进行了各种实验，包括使用

连接到数据库

?useUnicode=yes&characterEncoding=UTF-8

我还在 SQL 控制台上玩过以下内容:

SET character_set_client=latin1;
SET character_set_connection=latin1;
SET character_set_database=latin1;
SET character_set_results=latin1;

以及使用 my.cnf 和设置的变体:

[mysqld] 
character-set-server = utf8 
character-set-filesystem = utf8

无论如何，这些都没有帮助。所以最后为了证明这不是 java 问题而是损坏的数据集，我用 UTF8 编码创建了自己的表，将名称存储在那里并让我的程序提取数据。它看起来是正确的。所以现在是修复原始表格内容的问题。

我唯一无法解释的是 python 程序如何没有将此标记为问题。这不是我第一次遇到 python 对 Java 强类型的宽恕，这在这些情况下是一种祝福和痛苦。

==============================

2015/08/19 更新:

当我将源表固定为 UTF8 并正确存储数据时，Java 代码可以运行，但 python 代码会出错。

为了在 python 中修复它，我只是添加了

self.cdb = MySQLdb.connect(host=LOCAL_MYSQL_HOST,port=LOCAL_MYSQL_PORT,
                         user=LOCAL_MYSQL_USER, 
  passwd=LOCAL_MYSQL_PASS,
  db=LOCAL_MYSQL_DB,use_unicode=True,charset="UTF8")

这解决了它。

不幸的是，当我早些时候尝试使用 Java 驱动程序解决这个问题时，它没有工作:

dbStr = String.format("jdbc:mysql://%s:%d/%s?useUnicode=yes&characterEncoding=latin1", esConfig.LOCAL_MYSQL_HOST, esConfig.LOCAL_MYSQL_PORT, esConfig.LOCAL_MYSQL_DB);

我用的是java 1.7.80，jdbc包是mysql-connector-java-5.1.36-bin.jar，是我从Oracle找到的最新包