python - 将具有 latin-1 字符的字节解码为具有十进制表示的字符串

Question

我正在做一个迁移项目，将一层 Web 服务器从 python 2.7.8 升级到 python 3.6.3，我遇到了一些特殊情况的障碍。
当收到来自客户端的请求时，使用 pyzmq 在本地传输有效负载，它现在在 bytes 中交互在 python3 中而不是 str (就像在python2中一样)。

现在，我收到的有效负载使用 iso-8859-1 (latin-1) 方案进行编码，我可以轻松地将其转换为字符串作为 payload.decode('latin-1') 并将其传递给下一个服务 (svc- save-entity) 需要字符串参数。

但是，后续服务 'svc-save-entity' 期望 latin-1 字符(如果存在)以 ASCII 字符引用(例如 é 表示 é )而不是十六进制表示(例如 \xe9 表示é)。

我正在努力寻找一种有效的方法来实现这种转换。任何python专家都可以在这里指导我吗？本质上我需要一个函数的定义，比如 decode_tostring() :

payload = b'Banco Santander (M\xe9xico)'         #payload is in bytes
payload_str = decode_tostring(payload)           #function to convert into string
payload_str == 'Banco Santander (México)'  #payload_str is a string in ASCII Character Reference

decode_tostring() 的定义请。 :)

Answer 1

encode()和 decode()方法接受一个名为 errors 的参数它允许您指定如何处理在指定编码中不可表示的字符。您正在寻找的是 XML 数字字符引用替换，幸运的是 one of the standard handlers在 codecs 中提供模块。

现在，实际按照您想要的方式进行替换有点复杂，因为用相应的 XML 数字字符引用替换非 ASCII 字符的操作发生在编码期间，而不是解码期间。毕竟，编码是一个接收字符并发出字节的过程，所以只有在编码过程中，你才能知道你是否有一个字符不是 ASCII 的一部分。目前我能想到的获得所需转换的最简洁方法是解码、重新编码和重新解码，在编码步骤中应用 XML 实体引用替换。

def decode_tostring(payload):
    return payload.decode('latin-1').encode('ascii', errors='xmlcharrefreplace').decode('ascii')

如果有一种方法可以将字符串中的所有非 ASCII 字符替换为它们的 XML 数字字符引用并返回一个字符串，我不会感到惊讶，如果是这样，您可以使用它来替换编码和第二次解码。但我不知道一个。我目前找到的最接近的是 xml.sax.saxutils.escape() ，但这仅对某些特定字符起作用。

这与您的主要问题无关，但我确实想澄清一件事: numeric entities like é 是 SGML、HTML 和 XML 的一个特性，它们是标记语言 - 一种将结构化数据表示为文本的方法。它们与 ASCII 无关。像 ASCII 这样的字符编码只不过是一些字符和一些字节序列的表，这样表中的每个字符都映射到表中的一个字节序列，反之亦然，有一些约束可以使映射明确。

如果您的字符串包含不在特定编码表中的字符，则无法使用该编码对字符串进行编码。但是您可以做的是将字符串转换为新字符串，方法是将表中没有的字符替换为表中的字符序列，然后对新字符串进行编码。有很多方法可以进行替换，其中 XML 数字实体引用就是一个例子。 Python 的 codecs 中的一些其他错误处理程序模块代表了这种替换的其他方法。