python - ANSI、ASCII、Unicode 和与 Python 的编码混淆

Question

我很高兴地使用了 BeautifulSoup，我还使用了一个文本文件作为我的 Python 脚本的输入参数。

然后我遇到了著名的“UnicodeEncodeError”错误。

我一直在 SO 阅读问题，但我仍然感到困惑。

ASCII 与所有这些有什么关系？我在文本编辑器 (Notepad++) 上使用什么编码？美标？ UTF-8？将字符串解码为 ASCII 似乎并不总是有效(我猜该字符串采用来自 BeautifulSoup 的不同编码)。我该如何解决这个问题？

无论如何，我们将不胜感激任何帮助和澄清。

谢谢!

编辑:阅读 BeautifulSoup 的文档，它说它只使用 unicode 但我仍然收到 Unicode 错误:(

  File "C:\Python26\lib\encodings\cp437.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_map)
UnicodeEncodeError: 'charmap' codec can't encode character u'\u300d' in position
 3: character maps to <undefined>

Answer 1

ANSI 不是字符编码(通俗地说，它指的是某些转义序列，尽管它当然是美国国家标准协会的首字母缩写词)。您可以在 Notepad++ 中设置编码(并检查您使用的是什么编码)——希望是 utf-8，因为这是一种通用编码(让您可以表示任何 Unicode 点)。您使用显式 decode 方法调用从您的 utf-8 编码文本构建 unicode，或者您使用 codecs.open 将文件读取为 unicode(两者都需要您指定您的编码名称——再一次，希望是“utf8”)。