java - Java 和 Python 之间的多字节字符 (UnicodeEncodeError)

Question

我目前正在开发一个 Django 应用程序，它调用 Java REST API 并检索多语言结果(结果首先来自 Elasticsearch)。我可以检索结果并将它们存储到一个对象中，但是在 Javascript 中显示它们会给我带来垃圾 - 这应该是俄语:

当将其转换为字符串或尝试转换为 unicode 时，我得到:

UnicodeEncodeError at /getObjectArticles
'ascii' codec can't encode characters in position 23-24: ordinal not in range(128)

我知道 API 正在返回良好的数据，因为使用 Java 应用程序调用工作正常。知道如何处理传入的字符串，使其成为可识别的字符吗？

编辑:我的摄取代码..

g = requests.post(baseUrl, query_string)

except requests.exceptions.RequestException as e:
    print e

try:
    obj = g.json()
    articleTitle = obj['hit']['title']
    str(articleTitle)   # This results in a Unicode error
    articleTitle.decode("UTF-8")   # This results in a Unicode error

编辑:我的 Javascript/JQUERY

// Load article text
function getArticleText(articleId, index) {
    console.log($('#result_number').val());
    var es_url = gu.webapp_url + '/getArticle?articleId=' + encodeURIComponent(articleId) + "&index=" + encodeURIComponent(index);

    $.get(es_url).success(function(data) {
        console.log(data);
        var decodedText = $("<div/>").html(data.text).text();
        var decodedTitle = $("<div/>").html(data.articleTitle).text();

        // Close Article View Button
        $('#g2i2-article-info').html("<div id=\"closeArticleInfo\" class=\"closeWindow\">X</div>");

        // Article Info Table
        var articleTable = "<table class=\"table table-striped table-bordered table-condensed\">";
        articleTable = articleTable + "<tr><td>Title</td><td>" + decodedTitle + "</td></tr>";
        articleTable = articleTable + "<tr><td>Publication Date</td><td>" + data.pubDate + "</td></tr>";
        articleTable = articleTable + "<tr><td>Source Name</td><td>" + data.sourceName + "</td></tr>";
        articleTable = articleTable + "<tr><td>Location</td><td>" + data.locationName + "</td></tr>";
        articleTable = articleTable + "<tr><td>URL</td><td>" + data.url + "</td></tr>";
        articleTable = articleTable + "</table>"
        $('#g2i2-article-info').append(articleTable);

        // Article Text
        $('#g2i2-article-info').append(decodedText);
        $('#g2i2-article-info').css('display', 'block');

    }).error(function(jqXHR, textStatus, errorThrown) {
        console.log(textStatus + " " + errorThrown);
    });

}

Answer 1

您的服务器上已经有 Unicode 数据； response.json()为任何 JSON 字符串生成 Unicode 值。无需尝试解码。

浏览器正在生成此 Latin 1 Mojibake 。浏览器以 UTF-8(一种多字节编码)发送，并且浏览器将各个字节解释为 Latin 1 字符。例如，您的标题以西里尔文字 Со 开头，编码为 UTF-8，然后被误解为 Latin 1:

>>> u'Со'
u'\u0421\u043e'
>>> u'Со'.encode('utf8')
'\xd0\xa1\xd0\xbe'
>>> print u'Со'.encode('utf8').decode('latin1')
Со

所以D0 A1 UTF-8 中的字节(形成一个代码点)将被打印为两个 Latin-1 字符。

Ñ字符是 D1字节，后面可以跟大约 33 个不可打印的第二个 UTF-8 字节，以构成 р 范围内的字符。直到Ѡ 。接下来是и这确实是и等

您需要弄清楚为什么浏览器认为您的数据是 Latin 1。

通常这是根据 Content-Type 确定的发送到浏览器的 header ；如果设置为text/html; charset=ISO-8851-1那么浏览器的行为就像所有文本都是拉丁文 1 一样。 HTML 页面可能有 <meta>标签，<meta charset="ISO-8851-1"> 之一或<meta http-equiv="Content-Type" content="text/html; charset="ISO-8851-1">或类似的，其中有几种密切相关的编码，它们都具有类似的 Mojibake 效果。

另一种选择是您将其显式编码为 UTF-8，然后在将其发送到浏览器之前在某处再次将其解码为 Latin-1。

第三个选项是您使用的 JSON 服务本身向您发送 JSON unicode 字符串中的 Latin-1 字节，从而为您提供 Mojibake 源。在这种情况下，您仍然可以通过编码为 Latin 1 然后从 UTF-8 解码来修复它:

fixed = broken.encode('latin1').decode('utf8')

但只有在您验证服务器上的数据已经经过 Mojibaked 后才能执行此操作。