python - 'ascii' 编解码器无法在位置 * ord 不在范围 (128) 处对字符进行编码

Question

stackoverflow 上有几个线程，但我找不到解决整个问题的有效方法。

我从 urllib 读取函数收集了大量文本数据，并将其存储在 pickle 文件中。

现在我想把这个数据写入一个文件。在写作时我遇到了类似于 -

的错误

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128)

大量数据正在丢失。

我想从 urllib 读取的数据是字节数据

我试过了

   1. text=text.decode('ascii','ignore')
   2. s=filter(lambda x: x in string.printable, s)
   3. text=u''+text
      text=text.decode().encode('utf-8')

但我仍然以类似的错误告终。有人可以指出一个适当的解决方案。编解码器也会工作。如果冲突字节未作为字符串写入文件，我没有问题，因此可以接受丢失。

Answer 1

您可以通过Django 模块的smart_str 来实现。试试这个:

from django.utils.encoding import smart_str, smart_unicode

text = u'\u2019'
print smart_str(text)

您可以通过以管理员权限启动命令 shell 并运行此命令来安装 Django:

pip install Django