python - 截断 unicode，以便在为电汇编码时适合最大大小

Question

给定一个 Unicode 字符串和这些要求:

• 将字符串编码为某种字节序列格式(例如 UTF-8 或 JSON unicode 转义)
• 编码后的字符串有最大长度

例如，iPhone 推送服务需要 JSON 编码，最大总数据包大小为 256 字节。

截断字符串以使其重新编码为有效的 Unicode 并合理正确显示的最佳方法是什么？

(人类语言理解不是必需的 - 截断的版本可能看起来很奇怪，例如对于孤立的组合字符或泰语元音，只要软件在处理数据时不会崩溃。)

另见:

• 相关 Java 问题:How do I truncate a java string to fit in a given number of bytes, once UTF-8 encoded?
• 相关 Javascript 问题:Using JavaScript to truncate text to a certain size

Answer 1

def unicode_truncate(s, length, encoding='utf-8'):
    encoded = s.encode(encoding)[:length]
    return encoded.decode(encoding, 'ignore')

这是一个 Unicode 字符串示例，其中每个字符在 UTF-8 中用 2 个字节表示，如果不忽略拆分的 Unicode 代码点，该字符串会崩溃:

>>> unicode_truncate(u'абвгд', 5)
u'\u0430\u0431'