gpt4 book ai didi

使用 UTF-8 字符串写入文件时出现 Python 编解码器错误

转载 作者:太空宇宙 更新时间:2023-11-04 02:05:32 26 4
gpt4 key购买 nike

我正在开发一个 Python 3 Tkinter 应用程序(操作系统是 Windows 10),其整体功能包括以下详细信息:

  1. 读取大量可能包含 ascii、cp1252、utf-8 或任何其他编码数据的文本文件

  2. 在“预览窗口”(Tkinter 标签小部件)中显示任何这些文件的内容。

  3. 将文件内容写入单个输出文件(每次打开追加)

对于 #1:我通过以二进制模式打开和读取文件,使文件读取与编码无关。为了将数据转换为字符串,我使用了一个循环,该循环遍历“可能的”编码列表并依次尝试每个编码(使用 error='strict'),直到它遇到一个不存在的'不抛出异常。这是有效的。

对于 #2:获得解码后的字符串后,我只需为 Tkinter 标签的 textvariable 调用 set() 方法。这也有效。

对于 #3:我以通常的方式打开输出文件并调用 write() 方法写入解码后的字符串。这在字符串被解码为 ascii 或 cp1252 时有效,但当它被解码为 utf-8 时它会抛出异常:

'charmap' codec can't encode characters in position 0-3: character maps to <undefined>

我四处搜索并发现了非常相似的问题,但似乎没有任何问题可以解决这个特定问题。一些进一步的并发症限制了对我有用的解决方案:

一个。我可以通过将读入数据保留为字节并以二进制形式打开/写入输出文件来回避这个问题,但这会导致某些输入文件内容不可读。

B.虽然此应用程序主要用于 Python 3,但我正在努力使其与 Python 2 交叉兼容——我们有一些缓慢/较晚的采用者将使用它。 (顺便说一句,当我在 Python 2 上运行该应用程序时,它也会抛出异常,但对 cp1252 数据和 utf-8 数据都会抛出异常。)


为了说明问题,我创建了这个精简的测试脚本。 (我的实际应用程序是一个更大的项目,它也是我公司的专有 - 所以它不会公开发布!)

import tkinter as tk
import codecs

#Root window
root = tk.Tk()

#Widgets
ctrlViewFile1 = tk.StringVar()
ctrlViewFile2 = tk.StringVar()
ctrlViewFile3 = tk.StringVar()
lblViewFile1 = tk.Label(root, relief=tk.SUNKEN,
justify=tk.LEFT, anchor=tk.NW,
width=10, height=3,
textvariable=ctrlViewFile1)
lblViewFile2 = tk.Label(root, relief=tk.SUNKEN,
justify=tk.LEFT, anchor=tk.NW,
width=10, height=3,
textvariable=ctrlViewFile2)
lblViewFile3 = tk.Label(root, relief=tk.SUNKEN,
justify=tk.LEFT, anchor=tk.NW,
width=10, height=3,
textvariable=ctrlViewFile3)

#Layout
lblViewFile1.grid(row=0,column=0,padx=5,pady=5)
lblViewFile2.grid(row=1,column=0,padx=5,pady=5)
lblViewFile3.grid(row=2,column=0,padx=5,pady=5)

#Bytes read from "files" (ascii Az5, cp1252 European letters/punctuation, utf-8 Mandarin characters)
inBytes1 = b'\x41\x7a\x35'
inBytes2 = b'\xe0\xbf\xf6'
inBytes3 = b'\xef\xbb\xbf\xe6\x9c\xa8\xe5\x85\xb0\xe8\xbe\x9e'

#Decode
outString1 = codecs.decode(inBytes1,'ascii','strict')
outString2 = codecs.decode(inBytes2,'cp1252','strict')
outString3 = codecs.decode(inBytes3,'utf_8','strict')

#Assign stringvars
ctrlViewFile1.set(outString1)
ctrlViewFile2.set(outString2)
ctrlViewFile3.set(outString3)

#Write output files
try:
with open('out1.txt','w') as outFile:
outFile.write(outString1)
except Exception as e:
print(inBytes1)
print(str(e))

try:
with open('out2.txt','w') as outFile:
outFile.write(outString2)
except Exception as e:
print(inBytes2)
print(str(e))

try:
with open('out3.txt','w') as outFile:
outFile.write(outString3)
except Exception as e:
print(inBytes3)
print(str(e))

#Start GUI
tk.mainloop()

最佳答案

我知道你想要两件事:

  • 一种将任意 Unicode 字符写入文件的方法,以及
  • Python 2/3 兼容性。

使用 open('out1.txt','w') 违反了这两个:

  • 输出文本流以默认编码打开,在您的平台(显然是 Windows)上恰好是 CP-1252。此编解码器仅支持 Unicode 的一个子集,例如。缺少所有表情符号。
  • open 函数在 Python 版本之间有很大差异。在 Python 3 中,它是 io.open 函数,它提供了很多灵 active ,例如指定文本编码。在 Python 2 中,返回的文件句柄处理 8 位字符串而不是 Unicode 字符串(文本)。
  • 还有一个您可能没有意识到的可移植性问题:IO 的默认编码是平台相关的,即。运行您的代码的人可能会看到不同的默认值,具体取决于操作系统和本地化。

您可以使用 io.open('out1.txt', 'w', encoding='utf8') 避免这一切:

  • 使用支持所有所需字符的编码。使用检测到的输入编码应该有效,除非处理引入了支持范围之外的字符。使用其中一种 UTF 编解码器将始终有效,其中 UTF-8 最广泛地用于文本文件。请注意,某些 Windows 应用程序(如记事本)往往不理解 UTF-8。 utf-8-sig 编解码器支持编写带 BOM 的 UTF-8,使 Windows 应用程序能够识别以 UTF-8 编码的文件。该编解码器还删除输入流中的 UTF-8 BOM 签名(如果在用于读取时存在)。
  • io 模块被反向移植到 Python 2.7。这通常符合 Py2/3 兼容标准,因为对 <= 2.6 版本的支持已经在很久以前结束了。
  • 明确说明打开文本文件时使用的编码。可能存在依赖于平台的默认编码有意义的场景,但通常您需要控制。

边注:您提到了一种用于检测输入编解码器的简单启发式方法。如果真的没有办法获得这些信息,你应该考虑使用chardet。 .

关于使用 UTF-8 字符串写入文件时出现 Python 编解码器错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54835232/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com