python - 在 Python 3 中删除 BMP(表情符号)之外的字符

Question

我有一个错误:UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 266-266: Non-BMP character not supported in Tk

我正在解析数据，一些表情符号落入数组。 data = 'this variable contains some emoji'sツ😂' 我想要:data = 'this variable contains some emoji's'

如何从我的数据中删除这些字符或在 Python 3 中处理这种情况？

Answer 1

如果目标只是删除 '\uFFFF' 之上的所有字符，那么直接的方法就是这样做:

data = "this variable contains some emoji'sツ😂"
data = ''.join(c for c in data if c <= '\uFFFF')

您的字符串可能是分解形式，因此您可能需要 to normalize it to composed form首先，非 BMP 字符是可识别的:

import unicodedata

data = ''.join(c for c in unicodedata.normalize('NFC', data) if c <= '\uFFFF')